我正在使用带有 spark 独立集群的 python 2.7。
当我在运行 python 脚本的同一台机器上启动 master 时。它工作顺利。
当我在远程机器上启动 master,并尝试在本地机器上启动 spark context 以访问远程 spark master。没有任何反应,我收到消息说该任务没有获得任何资源。
当我访问主人的用户界面时。我看到了这份工作,但没有任何反应,它就在那里。
如何通过本地 python 脚本访问远程 spark master?
谢谢。
编辑: 我读到,为了做到这一点,我需要以集群模式(而非客户端模式)运行集群,我发现当前 standalone mode does not support this for python application .
想法?
请您参考如下方法:
为了做到这一点,我需要以集群模式(而非客户端模式)运行集群,我发现了 here当前独立模式不支持 python 应用程序。
