问的问题很简单,但是对我来说,行不通,我也不知道!
我想从此页面抓取评分啤酒 https://www.brewersfriend.com/homebrew/recipe/view/16367/southern-tier-pumking-clone与 BeautifulSoup,但它不起作用。
这是我的代码:
import requests
import bs4
from bs4 import BeautifulSoup
url = 'https://www.brewersfriend.com/homebrew/recipe/view/16367/southern-tier-pumking-clone'
test_html = requests.get(url).text
soup = BeautifulSoup(test_html, "lxml")
rating = soup.findAll("span", class_="ratingValue")
rating
当我完成时,它不起作用,但如果我对另一个页面做同样的事情就可以了……我不知道。有人可以帮助我吗?评分结果为4.58
谢谢大家!
请您参考如下方法:
如果打印 test_html,您会发现收到 403 forbidden 响应。
您应该在 GET 请求中添加一个 header (至少是一个用户代理 : ))。
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'
}
url = 'https://www.brewersfriend.com/homebrew/recipe/view/16367/southern-tier-pumking-clone'
test_html = requests.get(url, headers=headers).text
soup = BeautifulSoup(test_html, 'html5lib')
rating = soup.find('span', {'itemprop': 'ratingValue'})
print(rating.text)
# 4.58
