Skip to main content
 首页 » 编程设计

Python UNICODE csv 阅读器 GZIPPED 文件

2025年02月15日21findumars

我已经阅读了所有与 unicode 阅读相关的线程,但我似乎无法让它工作。

我正在尝试读取一个 csv,它恰好有一个 utf-8 BOM 签名并且也是 utf-8。

因此,在打开文件后,使用 unicodecsv 库读取它,我尝试了不同的方法。

def _extract_gz(self):  # fd 
    logging.info("Gz detected") 
    self.fp = gzip.open(self.path) 
    return unicodecsv.reader(self.path.read().decode('utf-8-sig').splitlines(), encoding='utf-8') 

在第 226 行仍然失败。UnicodeEncodeError:'ascii' 编解码器无法对位置 226 中的字符 u'\xf1' 进行编码:序号不在范围内(128)

也尝试过这种方法,但也失败了。

def _extract_gz(self):  # fd 
    logging.info("Gz detected") 
    self.fp = gzip.open(self.path) 
    self.f = self.unicode_csv_reader() 
    return self.f 
 
def unicode_csv_reader(self): 
    csv_reader = csv.reader(self.fp.read().decode('utf-8-sig').splitlines()) 
    for row in csv_reader: 
        yield [cell.encode('utf-8', 'replace') for cell in row] 

我做错了什么?

谢谢大家

版本是 Python 2.7.12

请您参考如下方法:

内置的 csv 模块不支持 Unicode(假设是 Python 2.x),但是有一个替代的 unicodecsv 模块支持(并且你显然已经尝试过,但没有成功)并且它应该相当简单:

import gzip 
import unicodecsv as csv 
 
def read_csv(filename, has_bom=True, **kwargs): 
    with gzip.open(filename, "r") as f: 
        if has_bom: 
            f.seek(3)  # skip the BOM 
        reader = csv.reader(f, **kwargs) 
        for row in reader: 
            yield row 
 
for row in read_csv("path/to/your.csv.gz", delimiter=";"):  # encoding needed for BOM 
    print(row)  # or do whatever you want with it 

应该可以解决问题。

更新 - 上面的代码适用于您上传的文件并且不会抛出任何错误(因为您的文件由半列分隔我也添加了它),但是有unicodecsv 模块中的错误 - 在使用 BOM 解析文件时,它不会删除第一列名称周围的引号,因此我更新了代码以反射(reflect)这一点。

在您上传的文件上运行它时,您会得到以下输出(YMMV,取决于您的控制台如何打印 unicode):

[u'Name', u'Ref', u'POS', u'POS', u'Status', u'City', u''] 
[u'Hotel Flamero', u'3365', u'ES', u'0.27', u'No Change', u'Matalascañas', u'']

(the last empty entry is due to your CSV having the last entry as empty)

UPDATE#2 - Don't have a MySQL instance at hand, but you can check that it parses just fine using an in-memory SQLite DB:

import sqlite3 
db = sqlite3.connect(":memory:")  # create an in-memory DB 
c = db.cursor() 
c.execute("CREATE TABLE test (Name TEXT, Ref TEXT, POS TEXT, Status TEXT, City TEXT)") 
 
header = None 
for row in read_csv("path/to/your.csv.gz", delimiter=";"): 
    del row[-1]  # remove the last element as it's always empty 
    if header is None:  # get the header first 
        header = row 
        continue 
    query = u"INSERT INTO test ({}) VALUES ({})".format( 
        u", ".join(header), 
        u", ".join(u"'{}'".format(column) for column in row)  # quote each column entry 
    ) 
    c.execute(query) 
 
# now lets read our data from the DB 
c.execute("SELECT * FROM test") 
for row in c.fetchall(): 
    print(row) 

它愉快地打印:

(u'Hotel Flamero', u'3365', u'ES', u'No Change', u'Matalascañas')