我试图在使用浏览器(例如 chrome)时在“inspect”中找到所有信息,目前我可以获得页面“source”,但它不包含 inspect 包含的所有内容
当我尝试使用
with urllib.request.urlopen(section_url) as url:
html = url.read()
我收到以下错误消息:“urllib.error.HTTPError:HTTP 错误 403:禁止访问”
现在我假设这是因为我试图获取的 url 来自 https url 而不是 http url,我想知道是否有一种特定的方法可以从 https 获取信息,因为正常方法不工作。
注意:我也试过这个,但它并没有向我展示所有内容
f = requests.get(url)
print(f.text)
请您参考如下方法:
你需要有一个用户代理来让浏览器认为你不是机器人。
import urllib.request, urllib.error, urllib.parse
url = 'http://www.google.com' #Input your url
user_agent = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3'
headers = { 'User-Agent' : user_agent }
req = urllib.request.Request(url, None, headers)
response = urllib.request.urlopen(req)
html = response.read()
response.close()
