我想读取和处理具有以下 2 列结构的大型 CSV 文件(data_file):
id params
1 '14':'blah blah','25':'more cool stuff'
2 '157':'yes, more stuff','15':'and even more'
3 '14':'blah blah','25':'more cool stuff'
4 '15':'different here'
5 '157':'yes, more stuff','15':'and even more'
6 '100':'exhausted'
此文件包含 30.000.000 行(磁盘上 5 Gb)。 (实际的字符串是用 UTF-8 编码的;为简单起见,我在这里用 ascii 编码)。请注意,第二列中的某些值是重复的。
我使用 pandas.read_csv() 阅读了这个:
df = pandas.read_csv(open(data_file, 'rb'), delimiter='\t',
usecols=['id', 'params'],dtype={'id':'u4', 'params':'str'})
读取文件后,数据框 df 使用 1.2 Gb 的 RAM。
到目前为止一切顺利。
现在是处理部分。我想要具有这种格式的 params 字符串列:
blah blah||more cool stuff
yes, more stuff||and even more
blah blah||more cool stuff
different here
yes, more stuff||and even more
exhausted
我写道:
def clean_keywords(x):
return "||".join(x.split("'")[1:][::2])
df['params'] = df['params'].map(clean_keywords)
这段代码在给出正确结果的意义上起作用。但是:
- 执行
map操作时使用了超过 6.8 Gb 的 RAM。 - 计算完成后,
df(在gc.collect()之后)使用 5.5 Gb 的 RAM,尽管字符串在params< 中计算列比读取的那一列短。
有人可以解释一下并提出使用 pandas 执行上述操作的替代方法(我使用 python 3.4、pandas 0.16.2、win64)吗?
请您参考如下方法:
回答我自己的问题。
事实证明,pandas.read_csv() 很聪明。读取文件时,字符串是唯一的。但是当这些字符串被处理并存储在列中时,它们就不再是唯一的了。因此,RAM 使用量增加。为了避免这种情况,必须手动维护唯一性。我是这样做的:
unique_strings = {}
def clean_keywords(x):
s = "||".join(x.split("'")[1:][::2])
return unique_strings.setdefault(s, s)
df['params'] = df['params'].map(clean_keywords)
有了这个解决方案,RAM 最大。正如预期的那样,使用量仅为 2.8 Gb,并且在读取数据 (1.2 Gb) 后略低于初始 RAM 使用量。
