我的目标:从 url 获取页面源并计算该页面源中关键字的所有实例
我是怎么做的:通过 urllib2 获取页面源,遍历页面源的每个字符并将其与关键字进行比较
我的问题:我的关键字是用 utf-8 编码的,而页面源代码是 ascii...我每次尝试转换时都会遇到错误。
获取页面源:
import urllib2
response = urllib2.urlopen(myUrl)
return response.read()
比较页面源和关键字:
pageSource[i] == keyWord[j]
我需要将其中一个字符串转换为另一个的编码。直觉上我觉得 ascii(页面源)到 utf-8(关键字)是最好和最简单的,所以:
pageSource = unicode(pageSource)
UnicodeDecodeError: 'ascii' codec can't decode byte __ in position __: ordinal not in range(128)
请您参考如下方法:
尝试处理文本时,不要将数据保留为字节字符串。尽早解码为 Unicode,尽可能晚地编码回字节。
解码您下载的网络数据:
import urllib2
response = urllib2.urlopen(myUrl)
# Latin-1 is the default for HTTP text/ responses, adjust as needed
codec = response.info().getparam('charset', 'latin1')
return response.read().decode(codec)
并对您的 keyWord 数据执行相同的操作。如果它被编码为 UTF-8,则将其解码,或使用 Unicode 字符串文字。
您可能想阅读有关 Python 和 Unicode 的内容:
