Pandas csv 解析器(http://pandas.pydata.org/pandas-docs/stable/generated/pandas.io.parsers.read_csv.html)支持不同的编码:
import pandas
data = pandas.read_csv(myfile, encoding='utf-8', quotechar='"', delimiter=',')
如何实现 ascii 忽略我的数据帧的编码大小写?
encode('ascii', 'ignore')
请您参考如下方法:
Pandas 似乎不允许您这样做。在使用 pandas 阅读之前,我必须预处理我的 CSV 文件:
decoded = codecs.decode(myfile.read(), "utf-8", "ignore")
encoded = codecs.encode(decoded, "utf-8", "ignore") #probably superfluous
fakefile = StringIO.StringIO(encoded)
data = pandas.read_csv(fakefile, encoding="utf-8")
如果你有一个非常大的 CSV 文件可能会很糟糕,但你可以一次读取 csv 文件的 block 。
