Skip to main content
 首页 » 编程设计

python之dask 工作因为内存使用而被杀死

2025年01月19日9qq号

您好,我有一个 python 脚本,它使用 dask 库来处理非常大的数据帧,大于物理内存。我注意到,如果内存使用率在一段时间内保持在计算机的 100%,则作业会在运行过程中被终止。

这是预期的吗?我原以为数据会溢出到磁盘,并且还有足够的磁盘空间。

有没有办法限制它的总内存使用量?谢谢

编辑:

我也试过:

dask.set_options(available_memory=12e9)

它没有用。它似乎没有限制其内存使用。同样,当内存使用率达到 100% 时,作业将被终止。

请您参考如下方法:

线

 ddf = ddf.set_index("sort_col").compute() 

实际上是将整个数据帧拉入内存并转换为 pandas。您想要删除 .compute(),并在调用 compute 产生结果之前首先应用您想要的任何逻辑(过滤、groupby/聚合等)足够小了。

要记住的重要一点是,结果输出必须能够放入内存,并且每个工作人员正在处理的每个 block (加上开销)也需要能够放入内存。