我已经阅读了所有与 unicode 阅读相关的线程,但我似乎无法让它工作。
我正在尝试读取一个 csv,它恰好有一个 utf-8 BOM 签名并且也是 utf-8。
因此,在打开文件后,使用 unicodecsv 库读取它,我尝试了不同的方法。
def _extract_gz(self): # fd
logging.info("Gz detected")
self.fp = gzip.open(self.path)
return unicodecsv.reader(self.path.read().decode('utf-8-sig').splitlines(), encoding='utf-8')
在第 226 行仍然失败。UnicodeEncodeError:'ascii' 编解码器无法对位置 226 中的字符 u'\xf1' 进行编码:序号不在范围内(128)
也尝试过这种方法,但也失败了。
def _extract_gz(self): # fd
logging.info("Gz detected")
self.fp = gzip.open(self.path)
self.f = self.unicode_csv_reader()
return self.f
def unicode_csv_reader(self):
csv_reader = csv.reader(self.fp.read().decode('utf-8-sig').splitlines())
for row in csv_reader:
yield [cell.encode('utf-8', 'replace') for cell in row]
我做错了什么?
谢谢大家
版本是 Python 2.7.12
请您参考如下方法:
内置的 csv 模块不支持 Unicode(假设是 Python 2.x),但是有一个替代的 unicodecsv 模块支持(并且你显然已经尝试过,但没有成功)并且它应该相当简单:
import gzip
import unicodecsv as csv
def read_csv(filename, has_bom=True, **kwargs):
with gzip.open(filename, "r") as f:
if has_bom:
f.seek(3) # skip the BOM
reader = csv.reader(f, **kwargs)
for row in reader:
yield row
for row in read_csv("path/to/your.csv.gz", delimiter=";"): # encoding needed for BOM
print(row) # or do whatever you want with it
应该可以解决问题。
更新 - 上面的代码适用于您上传的文件并且不会抛出任何错误(因为您的文件由半列分隔我也添加了它),但是有unicodecsv 模块中的错误 - 在使用 BOM 解析文件时,它不会删除第一列名称周围的引号,因此我更新了代码以反射(reflect)这一点。
在您上传的文件上运行它时,您会得到以下输出(YMMV,取决于您的控制台如何打印 unicode):
[u'Name', u'Ref', u'POS', u'POS', u'Status', u'City', u''] [u'Hotel Flamero', u'3365', u'ES', u'0.27', u'No Change', u'Matalascañas', u'']
(the last empty entry is due to your CSV having the last entry as empty)
UPDATE#2 - Don't have a MySQL instance at hand, but you can check that it parses just fine using an in-memory SQLite DB:
import sqlite3
db = sqlite3.connect(":memory:") # create an in-memory DB
c = db.cursor()
c.execute("CREATE TABLE test (Name TEXT, Ref TEXT, POS TEXT, Status TEXT, City TEXT)")
header = None
for row in read_csv("path/to/your.csv.gz", delimiter=";"):
del row[-1] # remove the last element as it's always empty
if header is None: # get the header first
header = row
continue
query = u"INSERT INTO test ({}) VALUES ({})".format(
u", ".join(header),
u", ".join(u"'{}'".format(column) for column in row) # quote each column entry
)
c.execute(query)
# now lets read our data from the DB
c.execute("SELECT * FROM test")
for row in c.fetchall():
print(row)
它愉快地打印:
(u'Hotel Flamero', u'3365', u'ES', u'No Change', u'Matalascañas')
