我正在执行一个过程,其中在每次迭代时创建一些值(根本没有很多值:每次迭代只有约 50 个值,其中一些是 4-5 个短字符串,但大多数是 2-3 位整数).大约有 3000 次迭代。
现在,我使用 pandas 数据帧为给定的迭代存储这 ~50 个值,然后将 df append 到数据帧列表 (dflist),一旦所有 3K 迭代完成,我连接 3K 数据帧(因为他们都有相同的列名)使用类似的东西:
df_final = pd.concat(dflist,axis=0)
是否有更好的方法来执行此过程,例如。只需使用一个 numpy 数组并沿轴 0 append 值,最后将完整的 numpy 数组转换为具有给定列名集的 Pandas 数据框?
我问是因为经过多次迭代(3000 次中的约 200 次),代码速度大幅下降,系统内存使用量缓慢上升,并且在迭代之间,据我所知,我的所有值都被覆盖了除了这个 pandas 数据帧列表之外,每次迭代似乎是每次迭代后唯一增长的东西。我正在使用 Python 2.7。当我在 Spyder GUI 中或仅从命令行运行我的脚本时,会发生此行为。
另一件事:尽管我实际保存的值相对较小(每次迭代约 50 个值),但我提取这些汇总值所用的数据非常大。因此,原始 csv 约为 10 GB,行数约为 2 亿行,我使用具有给定 block 大小的 pd.read_csv 将其分块,大约为 50K 行。然后对于那些 50K 行,我得到大约 50 个值。但我原以为每个 block 都是独立的,并且由于值正在被覆盖,内存使用量不应像现在这样增长。
例子 df:
CHFAC Bygoper Change MinB NumB NumCombos Total
0 abc3 574936022 + 1 1 1 11
1 abc3 574936022 - 1 0 0 0
2 abc3 574936022 + 2 1 1 11
3 abc3 574936022 - 2 0 0 0
4 abc3 574936022 + 5 1 1 11
5 abc3 574936022 - 5 0 0 0
6 abc3 574936022 + 10 1 1 11
7 abc3 574936022 - 10 0 0 0
请您参考如下方法:
您可以发挥创意并使用列表来存储您的数据,然后在循环结束时创建您的最终数据框。很难使用您的示例,因为我们对您的创建过程一无所知。我将给出一个通用的答案,显示基于 10 次迭代的循环创建 2 列数据框,其中每次迭代具有不同的输出长度
import pandas as pd
from random import randint
col1_val, col2_val = [], []
for i in range(10):
random_len = range(randint(0, 9))
col1 = random_len
col2 = random_len
col1_val.extend(col1)
col2_val.extend(col2)
pd.DataFrame({'col1':col1_val, 'col2':col2_val})
输出[110]:
col1 col2
0 0 0
1 1 1
2 2 2
3 3 3
4 4 4
5 0 0
6 1 1
7 2 2
8 3 3
现在让我们看看速度,使用列表方法:
import time
st = time.time()
col1_val, col2_val = [], []
for i in range(10000):
random_len = range(randint(0, 9))
col1 = random_len
col2 = random_len
col1_val.extend(col1)
col2_val.extend(col2)
pd.DataFrame({'col1':col1_val, 'col2':col2_val})
print time.time()-st
0.0499999523163
使用你的方法:
st = time.time()
dflist = []
for i in range(10000):
random_len = range(randint(0, 9))
col1 = random_len
col2 = random_len
dflist.append(pd.DataFrame({'col1':col1, 'col2':col2}))
pd.concat(dflist)
print time.time()-st
7.21199989319
所以对于 10000 次迭代,它会快大约 180 倍
