我创建了一个 python egg 文件,用于将我的一些 python 模块导入 Azure databricks 集群。
包内的一些文件引用了同一个包内的其他文件。在本地安装,一切正常。 当我将包加载到 Azure databricks 并尝试使用导入的库时,出现模块导入错误。
例如: module1 看起来像这样
import module2
print('hello, this is module 1')
模块 2 看起来像这样
print('hello, this is module 2')
注意,模块 1 导入模块 2。 Module2 不导入任何内容。
我尝试在工作区 py 文件中导入 module1,当我运行该单元格时,出现错误“ImportError: No module named 'module2'”
当我运行此代码时,从我在数据 block 中的笔记本中:from myLibrary import module1
我收到一个错误:ImportError: No module named 'module2'
如果我运行这个:from myLibrary import module2
运行良好
我验证了 module2 包含在 egg 包中。 当然,我上传了一个除了 Azure databrick 之外的所有内容的示例到 github GitHub Sample 这是使用 python3 运行时运行的。
如果需要更多信息来理解问题,请告诉我,我很乐意编辑问题并提供。
请您参考如下方法:
我怀疑这是一个 pythonpath 问题(并且您正在作为 Python 作业执行)。在 module1 中我会添加:
spark = SparkSession.builder.getOrCreate()
spark.sparkContext.addPyFile("dbfs:/path/module2.py")
这将使文件所在的所有节点。
您可以引用包含大量脚本的 zip 文件而不是 py 文件 - 只需确保它们位于 zip 内的平面单一文件夹结构中即可。
