Skip to main content
 首页 » 编程设计

python之在检查元素中获取信息

2025年02月15日9yyy_WW

我试图在使用浏览器(例如 chrome)时在“inspect”中找到所有信息,目前我可以获得页面“source”,但它不包含 inspect 包含的所有内容

当我尝试使用

    with urllib.request.urlopen(section_url) as url: 
    html = url.read() 

我收到以下错误消息:“urllib.error.HTTPError:HTTP 错误 403:禁止访问”

现在我假设这是因为我试图获取的 url 来自 https url 而不是 http url,我想知道是否有一种特定的方法可以从 https 获取信息,因为正常方法不工作。

注意:我也试过这个,但它并没有向我展示所有内容

f = requests.get(url) 
print(f.text) 

请您参考如下方法:

你需要有一个用户代理来让浏览器认为你不是机器人。

import urllib.request, urllib.error, urllib.parse 
 
url = 'http://www.google.com' #Input your url 
user_agent = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3' 
headers = { 'User-Agent' : user_agent } 
req = urllib.request.Request(url, None, headers) 
response = urllib.request.urlopen(req) 
html = response.read() 
response.close() 

改编自https://stackoverflow.com/a/3949760/6622817