Skip to main content
 首页 » 编程设计

python之Dask concatenate 导致内存错误,当 pandas concatenate 不用于相同的文件时

2024年11月24日8zengkefu

我正在尝试连接多个 dask 数据帧,但这会导致我的所有 RAM 都用完并使我的环境 (Google Colab) 崩溃。

我曾尝试与 Dask 连接,因为我听说 Dask 会对文件进行分区,以便更容易地加载到内存中。但是,Pandas 能够处理他的操作,而 Dask 则不能。

我使用 Dask 的原因是当我尝试保存我的 Pandas 数据框时,我的环境崩溃了。所以我想看看 Dask 是否能够在不崩溃的情况下保存我的数据,但我一直在创建我的数据框。

combA = np.load(file2A.format(0) , allow_pickle=True) 
combB = np.load(file2B.format(0), allow_pickle=True ) 
combC = np.load(file2C.format(0), allow_pickle=True ) 
combD = np.load(file2D.format(0) , allow_pickle=True) 
combE = np.load(file2E.format(0) , allow_pickle=True ) 
combF = np.load(file2F.format(0), allow_pickle=True ) 
 
dfAllA = dd.from_pandas(pd.DataFrame(combA), npartitions=10) 
dfAllB = dd.from_pandas(pd.DataFrame(combB), npartitions=10) 
dfAllC = dd.from_pandas(pd.DataFrame(combC), npartitions=10) 
dfAllD = dd.from_pandas(pd.DataFrame(combD), npartitions=10) 
dfAllE = dd.from_pandas(pd.DataFrame(combE), npartitions=10) 
dfAllF = dd.from_pandas(pd.DataFrame(combF), npartitions=10) 
 
dfAllT = dd.concat([dfAllA, dfAllB, dfAllC, dfAllD, dfAllE, dfAllF ], interleave_partitions=True) 

我想在没有内存错误的情况下执行连接。

从下面的答案来看,我似乎应该定义一个函数来执行日期的加载和连接,将其输入到 dask.delayed 函数中,然后在这些函数上执行 .compute()

有点像

 
def daskFunc1(): 
 
    combA = np.load(file2A.format(0) , allow_pickle=True) 
    combB = np.load(file2B.format(0), allow_pickle=True ) 
    combC = np.load(file2C.format(0), allow_pickle=True ) 
    combD = np.load(file2D.format(0) , allow_pickle=True) 
    combE = np.load(file2E.format(0) , allow_pickle=True ) 
    combF = np.load(file2F.format(0), allow_pickle=True ) 
 
    dfAllA = dd.from_pandas(pd.DataFrame(combA), npartitions=10) 
    dfAllB = dd.from_pandas(pd.DataFrame(combB), npartitions=10) 
    dfAllC = dd.from_pandas(pd.DataFrame(combC), npartitions=10) 
    dfAllD = dd.from_pandas(pd.DataFrame(combD), npartitions=10) 
    dfAllE = dd.from_pandas(pd.DataFrame(combE), npartitions=10) 
    dfAllF = dd.from_pandas(pd.DataFrame(combF), npartitions=10) 
 
def daskFunc2(): 
    dfAllT = dd.concat([dfAllA, dfAllB, dfAllC, dfAllD, dfAllE, dfAllF ], interleave_partitions=True) 
 
from dask.delayed import delayed 
 
f1 = delayed(daskFunc1) 
f2 = delayed(daskFunc2) 
 
f1.compute() 
f2.compute() 
 

然而,当我随后尝试

dfAllT.head()

我明白了

NameError: 名称 'dfAllT' 未定义

请您参考如下方法:

您目前正在将所有数据加载到 RAM 中,然后将其交给 Dask。如果您的所有数据在第一次启动时就已经填满了 RAM,Dask 帮不了您多少。

相反,告诉 Dask 如何加载数据并让它在正确的时间进行加载要好得多。本文档可能会为您指明正确的方向:https://docs.dask.org/en/latest/delayed-collections.html这是一个古老的例子https://gist.github.com/mrocklin/e7b7b3a65f2835cda813096332ec73ca