Skip to main content
 首页 » 编程设计

python之将本地 python 脚本连接到远程 spark master

2024年08月19日36birdshome

我正在使用带有 spark 独立集群的 python 2.7。

当我在运行 python 脚本的同一台机器上启动 master 时。它工作顺利。

当我在远程机器上启动 master,并尝试在本地机器上启动 spark context 以访问远程 spark master。没有任何反应,我收到消息说该任务没有获得任何资源。

当我访问主人的用户界面时。我看到了这份工作,但没有任何反应,它就在那里。

如何通过本地 python 脚本访问远程 spark master?

谢谢。

编辑: 我读到,为了做到这一点,我需要以集群模式(而非客户端模式)运行集群,我发现当前 standalone mode does not support this for python application .

想法?

请您参考如下方法:

为了做到这一点,我需要以集群模式(而非客户端模式)运行集群,我发现了 here当前独立模式不支持 python 应用程序。