我正在尝试从 url 读取 gzip 压缩的 csv 文件。这是一个超过 50.000 行的非常大的文件。当我尝试下面的代码时出现错误:_csv.Error: line contains NULL byte
import csv
import urllib2
url = '[my-url-to-csv-file].gz'
response = urllib2.urlopen(url)
cr = csv.reader(response)
for row in cr:
if len(row) <= 1: continue
print row
如果我在尝试读取文件之前尝试打印文件的内容,我会得到如下信息:
?M}?7?M==??7M???z?YJ?????5{Ci?jK??3b??p?
?[?=?j&=????=?0u'???}mwBt??-E?m??Ծ??????WM??wj??Z??ėe?D?VF????4=Y?Y?tA???
如何从该 URL 正确读取 gzip 压缩的 csv 文件?
请您参考如下方法:
如何使用 urllib2.urlopen 从 URL 打开 .gz (gzip) csv 文件
- 将 URL 数据保存到一个文件对象中。为此,您可以使用
StringIO.StringIO(). - 用
gzip.Gzipfile()解压.gz . - 从您的新文件对象中读取数据。
使用你的例子:
from StringIO import StringIO
import gzip
import urllib2
url = '[my-url-to-csv-file].gz'
mem = StringIO(urlopen(url).read())
f = gzip.GzipFile(fileobj=mem, mode='rb')
data = f.read()
for line in data:
print line
