当我通过 Chrome 手动导航到站点后查看源 HTML 时,我可以看到完整的页面源代码,但是在通过 selenium 加载页面源代码时,我没有获得完整的页面源代码。
from bs4 import BeautifulSoup
from selenium import webdriver
import sys,time
driver = webdriver.Chrome(executable_path=r"C:\Python27\Scripts\chromedriver.exe")
driver.get('http://www.magicbricks.com/')
driver.find_element_by_id("buyTab").click()
time.sleep(5)
driver.find_element_by_id("keyword").send_keys("Navi Mumbai")
time.sleep(5)
driver.find_element_by_id("btnPropertySearch").click()
time.sleep(30)
content = driver.page_source.encode('utf-8').strip()
soup = BeautifulSoup(content,"lxml")
print soup.prettify()
请您参考如下方法:
该网站可能阻止或限制了 selenium 的用户代理。一个简单的测试是更改用户代理并查看是否这样做。有关此问题的更多信息:
Change user agent for selenium driver
引用:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
opts = Options()
opts.add_argument("user-agent=whatever you want")
driver = webdriver.Chrome(chrome_options=opts)
