在 scala spark 中,可以创建一个命名的累加器,它将通过以下方式显示在 web ui 中
val accum = sc.accumulator(0, "My Accumulator")
但是 pyspark sc.accumulator() 方法没有名称参数。是否可以在 pyspark 中创建一个命名的累加器,它将显示在网络用户界面中?
请您参考如下方法:
在 pyspark 中无法创建命名累加器。这个问题已经提出来了。你可以追踪这个话题https://issues.apache.org/jira/browse/SPARK-2868 .
