Skip to main content
 首页 » 编程设计

python之无法在 Selenium 中查看完整的页面源代码

2025年04月02日10jpfss

当我通过 Chrome 手动导航到站点后查看源 HTML 时,我可以看到完整的页面源代码,但是在通过 selenium 加载页面源代码时,我没有获得完整的页面源代码。

from bs4 import BeautifulSoup 
from selenium import webdriver 
import sys,time 
 
 
driver = webdriver.Chrome(executable_path=r"C:\Python27\Scripts\chromedriver.exe") 
driver.get('http://www.magicbricks.com/') 
 
 
driver.find_element_by_id("buyTab").click() 
 
time.sleep(5) 
driver.find_element_by_id("keyword").send_keys("Navi Mumbai") 
 
time.sleep(5) 
driver.find_element_by_id("btnPropertySearch").click() 
 
time.sleep(30) 
 
content = driver.page_source.encode('utf-8').strip() 
 
soup = BeautifulSoup(content,"lxml") 
 
print soup.prettify() 

请您参考如下方法:

该网站可能阻止或限制了 selenium 的用户代理。一个简单的测试是更改用户代理并查看是否这样做。有关此问题的更多信息:

Change user agent for selenium driver

引用:

from selenium import webdriver 
from selenium.webdriver.chrome.options import Options 
opts = Options() 
opts.add_argument("user-agent=whatever you want") 
 
driver = webdriver.Chrome(chrome_options=opts)