Skip to main content
 首页 » 编程设计

python之来自网站的 UTF-8 文本在使用 python 3 和请求时被不正确地解码,适用于 Python 2 和机械化

2024年12月31日9jillzhang

我一直在 iPad 上使用 Pythonista 修改 Python。我决定编写一个简单的脚本,从一个网站提取日语歌词,然后向另一个网站发出发布请求,基本上用额外信息对歌词进行注释。

当我使用 Python 2 和模块 mechanize 时对于第二个网站,一切正常,但是当我使用 Python 3 和 requests 时,结果文本是无意义的。

这是一个没有出现问题的最小脚本:

#!/usr/bin/env python2 
 
from bs4 import BeautifulSoup 
 
import requests 
import mechanize 
 
def main(): 
    # Get lyrics from first website (lyrical-nonsense.com) 
    url = 'https://www.lyrical-nonsense.com/lyrics/bump-of-chicken/hello-world/' 
    html_raw_lyrics = BeautifulSoup(requests.get(url).text, "html5lib")  
    raw_lyrics = html_raw_lyrics.find("div", id="Lyrics").get_text() 
 
    # Use second website to anotate lyrics with fugigana 
    browser = mechanize.Browser() 
    browser.open('http://furigana.sourceforge.net/cgi-bin/index.cgi') 
    browser.select_form(nr=0) 
    browser.form['text'] = raw_lyrics 
    request = browser.submit() 
 
    # My actual script does more stuff at this point, but this snippet doesn't need it 
 
    annotated_lyrics = BeautifulSoup(request.read().decode('utf-8'), "html5lib").find("body").get_text() 
    print annotated_lyrics 
 
if __name__ == '__main__': 
    main() 

截断的输出是:

扉(とびら)開(ひら)けば捻(ねじ)れた昼(ひる)の夜(よる)昨日(きのう)どうやって帰(かえ)った体(からだ)だけが確(たし)かおはよう これからまた迷子(まいご)の続(つづ)き見慣(みな)れた知(し)らない景色(けしき)の中(なか)でもう駄目(だめ)って思(おも)ってから わりと何(なん)だかやれている死(し)にきらないくらいに丈夫(じょうぶ)何(なに)かちょっと恥(は)ずかしいやるべきことは忘(わす)れていても解(わか)るそうしないと とても苦(くる)しいから顔(かお)を上(あ)げて黒(くろ)い目(め)の人(にん)君(くん)が見(み)たから光(ひかり)は生(う)まれた選(えら)んだ色(しょく)で塗(ぬ)った世界(せかい)に [...] 

这是一个展示问题的最小脚本:

#!/usr/bin/env python3 
from bs4 import BeautifulSoup 
 
import requests 
 
def main(): 
    # Get lyrics from first website (lyrical-nonsense.com) 
    url = 'https://www.lyrical-nonsense.com/lyrics/bump-of-chicken/hello-world/' 
    html_raw_lyrics = BeautifulSoup(requests.get(url).text, "html5lib")  
    raw_lyrics = html_raw_lyrics.find("div", id="Lyrics").get_text() 
 
    # Use second website to anotate lyrics with fugigana 
    url = 'http://furigana.sourceforge.net/cgi-bin/index.cgi' 
    data = {'text': raw_lyrics, 'state': 'output'} 
    html_annotated_lyrics = BeautifulSoup(requests.post(url, data=data).text, "html5lib") 
    annotated_lyrics = html_annotated_lyrics.find("body").get_text() 
 
    print(annotated_lyrics) 
 
if __name__ == '__main__': 
    main() 

截断的输出是:

IQp{_<n(åiFcf0c_S`QLºKJoFSK~_÷PnMc_åjDorn-gFÄîcfcfKhU`KfD{kMjDOD+UKacheZKWDyMSho،fDfã]FWjDhhfæWDKTRfÒDînºL_KIo~_x`rgWc_Lkò~fxyjD·nsoiS`FTê`QLÒüíüLn [...] 

值得注意的是,如果我只是尝试获取第二个请求的 HTML,如下所示:

# Use second website to anotate lyrics with fugigana 
url = 'http://furigana.sourceforge.net/cgi-bin/index.cgi' 
data = {'text': raw_lyrics, 'state': 'output'} 
annotated_lyrics = requests.post(url, data=data).content.decode('utf-8') 

A embedded null character打印时出错annotated_lyrics .可以通过将截断的歌词传递给发布请求来规避此问题。在当前示例中,只能传递一个字符。

然而,随着

url = 'https://www.lyrical-nonsense.com/lyrics/aimer/brave-shine/' 

我最多可以传递 51 个字符,如下所示:

data = {'text': raw_lyrics[0:51], 'state': 'output'} 

在触发 embedded null character 之前错误。

我试过使用 urllib而不是 requests ,解码和编码为 utf-8 生成的 post 请求的 HTML,或 data作为参数传递给此请求。我还检查了网站的编码是 utf-8,这与发布请求的编码相匹配:

r = requests.post(url, data=data)    
print(r.encoding) 

打印 utf-8 .

我认为问题与 Python 3 在处理字符串和字节方面更加严格有关,但我一直无法查明确切原因。

虽然我很欣赏 Python 3 中的工作代码示例,但我更感兴趣的是我到底做错了什么,代码做了什么导致失败。

请您参考如下方法:

我可以在 python3.x 中使用这段代码正确获取歌词:

url = 'https://www.lyrical-nonsense.com/lyrics/bump-of-chicken/hello-world/' 
resp = requests.get(url) 
print(BeautifulSoup(resp.text).find('div', class_='olyrictext').get_text()) 

打印(截断)

>>> BeautifulSoup(resp.text).find('div', class_='olyrictext').get_text() 
'扉開けば\u3000捻れた昼の夜\r\n昨日どうやって帰った\u3000体だけ...' 

有几件事让我感到奇怪,特别是 \r\n(windows 行结尾)和 \u3000(IDEOGRAPHIC SPACE),但这可能不是问题所在

我注意到关于表单提交(以及浏览器模拟器可能成功的原因)的奇怪的一件事是表单使用multipart而不是urlencoded 表单数据。 (由 enctype="multipart/form-data" 表示)

在requests中发送多部分表单数据有点奇怪,我不得不四处寻找,最终找到了this。这有助于显示如何以支持服务器理解的方式格式化多部分数据。为此,您必须滥用 files 但有一个“None”文件名。 “为人类” 哈!

url2 = 'http://furigana.sourceforge.net/cgi-bin/index.cgi' 
resp2 = requests.post(url2, files={'text': (None, raw_lyrics), 'state': (None, 'output')}) 

现在文本没有被破坏!

>>> BeautifulSoup(resp2.text).find('body').get_text() 
'\n扉(とびら)開(ひら)けば捻(ねじ)れた昼(ひる)...' 

(请注意,此代码应该在 python2 或 python3 中工作)