我用 python 编写了一个脚本,用于从加载缓慢的网页中抓取名称。该页面中有 1000 个名称,只有当浏览器向下滚动时才能加载全部内容。但是,我的脚本可以成功到达该页面的最低部分并解析所有名称。我在这里面临的问题是我使用了硬编码延迟,在这种情况下为 5 秒,即使加载了项目,它也会使浏览器不必要地等待。那么我如何使用显式等待来克服这种情况并解析所有项目。
这是我目前编写的脚本:
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get("http://fortune.com/fortune500/list/")
check_height = driver.execute_script("return document.body.scrollHeight;")
while True:
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(5)
height = driver.execute_script("return document.body.scrollHeight;")
if height == check_height:
break
check_height = height
listElements = driver.find_elements_by_css_selector(".company-title")
for item in listElements:
print(item.text)
请您参考如下方法:
您可以如下添加显式等待:
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("http://fortune.com/fortune500/list/")
check_height = driver.execute_script("return document.body.scrollHeight;")
while True:
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
try:
WebDriverWait(driver, 10).until(lambda driver: driver.execute_script("return document.body.scrollHeight;") > check_height)
check_height = driver.execute_script("return document.body.scrollHeight;")
except:
break
listElements = driver.find_elements_by_css_selector(".company-title")
for item in listElements:
print(item.text)
这应该允许您避免硬编码 time.sleep() - 相反,您只是在等待更改 height 值或在 height 情况下中断循环 在滚动后 10 秒后保持不变...
