Skip to main content
 首页 » 编程设计

python之使用延迟 (DASK) 读取大型 CSV 文件

2024年11月24日17落叶无声

我正在使用 delayed 读取许多大型 CSV 文件:

import pandas as pd 
 
def function_1(x1, x2):          
    df_d1 = pd.read_csv(x1) 
    # Some calculations on df_d1 using x2. 
    return df_d1 
 
def function_2(x3):          
    df_d2 = pd.read_csv(x3) 
    return df_d2 
 
def function_3(df_d1, df_d2):          
    # some calculations and merging data-sets (output is "merged_ds"). 
    return merged_ds 
  • function_1:导入数据集 1 并进行一些计算。
  • function_2:导入数据集 2。
  • function_3:合并数据集和一些计算。

接下来,我使用循环调用这些函数,使用 delayed 函数。我有很多CSV文件,每个文件都超过500MB。这是使用 DASK(延迟)完成我的任务的合适程序吗?

请您参考如下方法:

是的,请继续延迟您的功能并将它们提交给 Dask。最占用内存的可能是 function_3,您可能需要考虑一次可以在内存中保存多少个 - 使用分布式调度程序来控制您拥有多少个工作线程和线程及其各自的内存限制 https://distributed.readthedocs.io/en/latest/local-cluster.html

最后,我确定你不想返回最终合并的数据帧,这肯定不适合内存:你可能想聚合它们或写出到其他文件。