我正在尝试自动下载出现在谷歌图片搜索中的第一张图片,但我无法读取网站源代码并发生错误(“HTTP 错误 403:禁止访问”)。 有任何想法吗?感谢您的帮助!
这是我的代码:
from urllib.request import urlopen
from bs4 import BeautifulSoup
word = 'house'
r = urlopen('https://www.google.pl/search?&dcr=0&tbm=isch&q='+word)
data = r.read()
请您参考如下方法:
显然,您必须传递 headers 参数,因为该网站阻止您认为您是请求数据的机器人。我在这里找到了一个这样做的例子 HTTP error 403 in Python 3 Web Scraping .
此外,urlopen 对象不支持 headers 参数,所以我不得不使用 Request 对象。
from urllib.request import urlopen, Request
from bs4 import BeautifulSoup
word = 'house'
r = Request('https://www.google.pl/search?&dcr=0&tbm=isch&q='+word, headers={'User-Agent': 'Mozilla/5.0'})
response = urlopen(r).read()
