python之如何使用 spark session 导入 python 文件

我尝试使用 Sparkcontext 在我当前的 pyspark 程序中导入另一个 python 文件。它给我错误，因为多个 spark 上下文无法同时运行。因此我正在使用 spark session 导入我的 python 文件。 我的代码是:

spark = SparkSession.builder.appName('Recommendation_system').getOrCreate() 
txt=spark.addFile('engine.py') 
dataset_path = os.path.join('Musical_Instruments_5.json') 
app = create_app(txt,dataset_path) 

出现如下错误:

AttributeError: 'SparkSession' object has no attribute 'addFile' 

使用 spark session 导入 python 文件的正确方法是什么。

请您参考如下方法:

您应该使用类的“addFile”方法:

  pyspark.SparkContext 

API reference