Skip to main content
 首页 » 编程设计

python之"getNumPartitions"是一个昂贵的操作吗

2025年02月15日7傻小

我正在使用 pyspark,我调用 getNumPartitions() 来查看是否需要重新分区,这大大降低了我的代码速度.代码太大,无法在此处发布。我的代码是这样工作的:

我的印象是这不是一项昂贵的操作……我是不是理解错了,它真的很昂贵吗?或者是其他什么东西减慢了我的代码速度?

请您参考如下方法:

查看 getNumPartitions() 的源代码...

def getNumPartitions(self):  
    return self._jrdd.partitions().size()  

应该不会那么贵吧。我怀疑还有其他事情导致你的速度变慢。

这是我所知道的:

  • 分区列表已缓存,因此只有第一次调用 partitions() 才会计算分区
  • Spark 无论如何都必须为每个 RDD 计算分区,因此它不应该再增加您查询计数的时间