Skip to main content
 首页 » 编程设计

python之如何仅使用 IPython Notebook 引用 ApacheSpark 的库

2025年05月04日24exmyth

我目前正在使用 IBM Bluemix 中的 Apache Spark 服务。有一个快速启动的复合应用程序(样板),由 Spark 服务本身、一个用于数据的 OpenStack Swift 服务和一个 IPython/Jupyter Notebook 组成。

我想向系统添加一些第 3 方库,我想知道如何实现。使用 python import 语句并没有真正的帮助,因为这些库随后将位于 SparkWorker 节点上。

有没有办法在作业运行时从外部源(例如 Swift 或 ftp 源)在 Spark 中加载 python 库?

非常感谢!

请您参考如下方法:

此时您无法在测试版中添加第 3 方库。这肯定会在测试版的后期出现,因为这是一个流行的要求;-)