在 PySpark 驱动程序(例如使用 JobLib 或其他多处理库)中创建新的 Python 进程时,这些进程是否共享 Spark 驱动程序内存,或者它们是否在 PySpark 驱动程序 JVM 之外分配内存?
请您参考如下方法:
Python 驱动程序内存不计入 spark.driver.memory(对于 worker 而言与 spark.executor.memory 相同)。 spark.*.memory 设置仅用于堆上 Java 内存分配。
spark.driver.memoryOverhead 和等效设置涵盖了所有其他形式的内存分配(堆外、 native 内存,如 Python 等)。
