我正在尝试使用 python 处理一个非常大的文件中的行。 我从 stackoverflow 中以前回答的许多问题中找到了读取大文件的最佳方法。我选择了其中一种方法并进行了如下检查:
fIn = fopen(fileName,'rU')
fOut = fopen(fileName1, 'w')
while 1:
lines = fIn.readlines(100000)
if not lines:
break
for line in lines :
fOut.write(line)
这就像变魔术一样有效,我能够成功地从一个文件中读取行并将其写入另一个文件,并且没有遇到任何内存错误。
但我现在想做的不是将从一个文件读取的行写入另一个文件,而是想将它们存储在一个列表中,然后在列表上做进一步的处理。我将行存储在列表中的代码如下所示:
fIn = fopen(fileName,'rU')
fOut = fopen(fileName1, 'w')
d = []
while 1:
lines = fIn.readlines(100000)
if not lines:
break
for line in lines :
d.append(line)
此代码正在创建 MemoryError,提示中打印的堆栈跟踪显示在此错误之前执行的最后一行是 d.append(line) 行。因此,将大量数据写入列表肯定会导致错误。这个错误是在进入程序几秒钟后引起的。所以它能够正确地写入一定大小的数据,然后发现一些内存错误。
我想知道什么是在 python 列表中存储大文件的最佳方法,因此不会遇到 MemoryError 错误。
请您参考如下方法:
自 processing can be done line by line ,最好的选择是像这样遍历文件对象
with open(fileName, 'rU') as fIn:
for line in fIn:
process_line(line)
并将所有处理逻辑移至process_line 函数。这将是最佳选择,因为它一次只能为您提供一条线路。因此,您不会阻塞内存。
