Skip to main content
 首页 » 编程设计

python之使用 python 3.5 从 url 保存 csv 删除 CR 和 LF

2024年10月24日11java哥

我正在使用 Python 3.5.0 获取一些人口普查数据。当我使用我的脚本时,它确实从 url 检索数据并保存它,但是保存的文件无法导入到 SQL,因为它以某种方式删除了 {CR}{LF}。我怎样才能让它保存的文件能够导入到 SQL?

try: 
    url = 'https://www.census.gov/popest/data/counties/asrh/2014/files/CC-EST2014-ALLDATA.csv' 
 
    headers = {} 
    headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0' 
 
    req = urllib.request.Request(url,headers=headers) 
    resp = urllib.request.urlopen(req) 
    respData = resp.read() 
 
    saveFile = open('Vintage2014.csv' ,'w') 
    saveFile.write(str(respData)) 
    saveFile.close() 
 
except Exception as e: 
    print(str(e)) 

请您参考如下方法:

请注意,您尝试下载的文件不包含 CRLF,仅包含 LF。

您可以使用以下方法将字节转换为合适的字符串。这也应该导致您获得 CRLF:

import urllib.request 
 
try: 
    url = 'https://www.census.gov/popest/data/counties/asrh/2014/files/CC-EST2014-ALLDATA.csv' 
    headers = {} 
    headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0' 
    req = urllib.request.Request(url, headers=headers) 
    resp = urllib.request.urlopen(req) 
    respData = resp.read() 
 
    with open('Vintage2014.csv', 'w') as saveFile: 
        saveFile.write(respData.decode('latin-1')) 
 
except Exception as e: 
    print(str(e))