Skip to main content
 首页 » 编程设计

Python Pandas 创建一长串数据框以进行连接

2025年04月02日7jirigala

我正在执行一个过程,其中在每次迭代时创建一些值(根本没有很多值:每次迭代只有约 50 个值,其中一些是 4-5 个短字符串,但大多数是 2-3 位整数).大约有 3000 次迭代。

现在,我使用 pandas 数据帧为给定的迭代存储这 ~50 个值,然后将 df append 到数据帧列表 (dflist),一旦所有 3K 迭代完成,我连接 3K 数据帧(因为他们都有相同的列名)使用类似的东西:

df_final = pd.concat(dflist,axis=0)

是否有更好的方法来执行此过程,例如。只需使用一个 numpy 数组并沿轴 0 append 值,最后将完整的 numpy 数组转换为具有给定列名集的 Pandas 数据框?

我问是因为经过多次迭代(3000 次中的约 200 次),代码速度大幅下降,系统内存使用量缓慢上升,并且在迭代之间,据我所知,我的所有值都被覆盖了除了这个 pandas 数据帧列表之外,每次迭代似乎是每次迭代后唯一增长的东西。我正在使用 Python 2.7。当我在 Spyder GUI 中或仅从命令行运行我的脚本时,会发生此行为。

另一件事:尽管我实际保存的值相对较小(每次迭代约 50 个值),但我提取这些汇总值所用的数据非常大。因此,原始 csv 约为 10 GB,行数约为 2 亿行,我使用具有给定 block 大小的 pd.read_csv 将其分块,大约为 50K 行。然后对于那些 50K 行,我得到大约 50 个值。但我原以为每个 block 都是独立的,并且由于值正在被覆盖,内存使用量不应像现在这样增长。

例子 df:

    CHFAC   Bygoper  Change MinB  NumB  NumCombos   Total 
0   abc3    574936022   +    1     1    1   11 
1   abc3    574936022   -    1     0    0   0 
2   abc3    574936022   +    2     1    1   11 
3   abc3    574936022   -    2     0    0   0 
4   abc3    574936022   +    5     1    1   11 
5   abc3    574936022   -    5     0    0   0 
6   abc3    574936022   +    10    1    1   11 
7   abc3    574936022   -    10    0    0   0 

请您参考如下方法:

您可以发挥创意并使用列表来存储您的数据,然后在循环结束时创建您的最终数据框。很难使用您的示例,因为我们对您的创建过程一无所知。我将给出一个通用的答案,显示基于 10 次迭代的循环创建 2 列数据框,其中每次迭代具有不同的输出长度

import pandas as pd 
from random import randint 
col1_val, col2_val = [], [] 
for i in range(10): 
    random_len = range(randint(0, 9)) 
    col1 = random_len 
    col2 = random_len 
    col1_val.extend(col1) 
    col2_val.extend(col2) 
pd.DataFrame({'col1':col1_val, 'col2':col2_val}) 

输出[110]:

    col1  col2 
0      0     0 
1      1     1 
2      2     2 
3      3     3 
4      4     4 
5      0     0 
6      1     1 
7      2     2 
8      3     3 

现在让我们看看速度,使用列表方法:

import time 
st = time.time() 
col1_val, col2_val = [], [] 
for i in range(10000): 
    random_len = range(randint(0, 9)) 
    col1 = random_len 
    col2 = random_len 
    col1_val.extend(col1) 
    col2_val.extend(col2) 
pd.DataFrame({'col1':col1_val, 'col2':col2_val}) 
print time.time()-st 
0.0499999523163 

使用你的方法:

st = time.time() 
dflist = [] 
for i in range(10000): 
    random_len = range(randint(0, 9)) 
    col1 = random_len 
    col2 = random_len 
    dflist.append(pd.DataFrame({'col1':col1, 'col2':col2})) 
pd.concat(dflist) 
print time.time()-st 
7.21199989319 

所以对于 10000 次迭代,它会快大约 180 倍