Skip to main content
 首页 » 编程设计

python之Pyspark 驱动程序中 Python 子进程的内存分配

2025年05月04日37think

在 PySpark 驱动程序(例如使用 JobLib 或其他多处理库)中创建新的 Python 进程时,这些进程是否共享 Spark 驱动程序内存,或者它们是否在 PySpark 驱动程序 JVM 之外分配内存?

请您参考如下方法:

Python 驱动程序内存不计入 spark.driver.memory(对于 worker 而言与 spark.executor.memory 相同)。 spark.*.memory 设置仅用于堆上 Java 内存分配。

spark.driver.memoryOverhead 和等效设置涵盖了所有其他形式的内存分配(堆外、 native 内存,如 Python 等)。