pandas read_csv 在遇到字段过多的行时引发异常 (error_bad_lines)。但是,当指定参数 names 时,这不会发生。
例如一个 csv 文件的格式:
1, 2, 3
1, 2, 3
1, 2, 3, 4
使用 pd.read_csv(filepath, header=None) 正确读取 ParserError: Error tokenizing data。 C 错误:第 3 行中应有 3 个字段,由于附加列而看到 4 个。
但是,当“名称”被指定为参数时:
>>> pd.read_csv(filepath, names=['A', 'B', 'C'], header=None)
A B C
0 1 2 3
1 1 2 3
2 1 2 3
没有出现错误,并且包含了应该跳过的“太长/错误”行......
有没有一种方法可以指定名称并仍然引发 ParserError,以便可以使用 error_bad_lines=False 删除太长/错误的行?
请您参考如下方法:
似乎对此没有整洁的 pandas 解决方案。您可以做的是使用 python 的 open() 加载文件 CSV,然后将新的 header 添加到文件字符串中,这样您就不会修改磁盘上的原始文件。之后,您可以使用 pandas 使用 StringIO 加载文件字符串。这将保留错误:
#python3
from io import StringIO
import pandas as pd
lines = open('./test.csv', 'r').readlines()
lines = ['A, B, C'] + lines
fileString = '\n'.join(lines)
df = pd.read_csv(StringIO(fileString), sep=",")
