python之如何在 Pyspark 中将行分成多行

我知道在 Python 中可以使用反斜杠甚至括号将一行分成多行。

但是不知何故，在 pyspark 中，当我这样做时，我确实将下一行显示为红色，这表明可能有问题。

(conf.setAppName('Learnfit_Recommender') 
 .set("spark.executor.memory", "10g") 
 .set("spark.executor.cores",5) 
 .set("spark.executor.instances",50) 
 .set("spark.yarn.executor.memoryOverhead",1024) 
) 

编辑 1:我将括号更改为反斜杠。而且，如果您看到图像，我会看到很少的“。”为红色，甚至 sc 变量也被标记为红色。

这是在 pyspark 中断行的正确方法吗？

请您参考如下方法:

可以使用斜杠和括号

spark = SparkSession \ 
    .builder \ 
    .appName("Python Spark SQL basic example") \ 
    .config("spark.some.config.option", "some-value") \ 
    .getOrCreate() 

编辑:以及来自 Spark 提交作业的示例

./bin/spark-submit \ 
--master <yarn> \ 
--deploy-mode <cluster> \ 
--num-executors <2> \ 
--executor-cores <2> \