我必须在 txt.file 中找到一个字符串列表
文件有 200k+ 行
这是我的代码:
with open(txtfile, 'rU') as csvfile:
tp = pd.read_csv(csvfile, iterator=True, chunksize=6000, error_bad_lines=False,
header=None, skip_blank_lines=True, lineterminator="\n")
for chunk in tp:
if string_to_find in chunk:
print "hurrà"
问题 是这段代码只分析了前 9k 行。 为什么?
请您参考如下方法:
您真的需要先打开文件然后再使用 pandas 吗?如果这是一个选项,您可以只使用 pandas 阅读 concatenate .
要做到这一点,只需使用 read_csv,concat 文件,然后循环遍历它们。
import pandas as pd
df = pd.read_csv('data.csv', iterator=True, chunksize=6000, error_bad_lines=False,
header=None, skip_blank_lines=True)
df = pd.concat(df)
# start the for loop
这取决于您的 for 循环,pandas 很可能会有一个您不需要循环的函数,因为它处理大数据的速度较慢。
