Skip to main content
 首页 » 编程设计

Python:难以将 ascii 转换为 unicode

2024年10月25日15bluestorm

我的目标:从 url 获取页面源并计算该页面源中关键字的所有实例

我是怎么做的:通过 urllib2 获取页面源,遍历页面源的每个字符并将其与关键字进行比较

我的问题:我的关键字是用 utf-8 编码的,而页面源代码是 ascii...我每次尝试转换时都会遇到错误。

获取页面源:

import urllib2 
response = urllib2.urlopen(myUrl) 
return response.read() 

比较页面源和关键字:

pageSource[i] == keyWord[j] 

我需要将其中一个字符串转换为另一个的编码。直觉上我觉得 ascii(页面源)到 utf-8(关键字)是最好和最简单的,所以:

    pageSource = unicode(pageSource) 
UnicodeDecodeError: 'ascii' codec can't decode byte __ in position __: ordinal not in range(128) 

请您参考如下方法:

尝试处理文本时,不要将数据保留为字节字符串。尽早解码为 Unicode,尽可能晚地编码回字节。

解码您下载的网络数据:

import urllib2 
 
response = urllib2.urlopen(myUrl) 
# Latin-1 is the default for HTTP text/ responses, adjust as needed 
codec = response.info().getparam('charset', 'latin1') 
return response.read().decode(codec) 

并对您的 keyWord 数据执行相同的操作。如果它被编码为 UTF-8,则将其解码,或使用 Unicode 字符串文字。

您可能想阅读有关 Python 和 Unicode 的内容: