Skip to main content
 首页 » 编程设计

python之无法在我的脚本中应用显式等待

2025年02月15日9虾米姐

我用 python 编写了一个脚本,用于从加载缓慢的网页中抓取名称。该页面中有 1000 个名称,只有当浏览器向下滚动时才能加载全部内容。但是,我的脚本可以成功到达该页面的最低部分并解析所有名称。我在这里面临的问题是我使用了硬编码延迟,在这种情况下为 5 秒,即使加载了项目,它也会使浏览器不必要地等待。那么我如何使用显式等待来克服这种情况并解析所有项目。

这是我目前编写的脚本:

from selenium import webdriver 
import time 
 
driver = webdriver.Chrome() 
driver.get("http://fortune.com/fortune500/list/") 
 
check_height = driver.execute_script("return document.body.scrollHeight;") 
while True: 
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 
    time.sleep(5) 
    height = driver.execute_script("return document.body.scrollHeight;")  
    if height == check_height:  
        break  
    check_height = height 
 
    listElements = driver.find_elements_by_css_selector(".company-title") 
 
for item in listElements: 
    print(item.text) 

请您参考如下方法:

您可以如下添加显式等待:

from selenium.webdriver.support.ui import WebDriverWait 
from selenium import webdriver 
 
driver = webdriver.Chrome() 
driver.get("http://fortune.com/fortune500/list/") 
 
check_height = driver.execute_script("return document.body.scrollHeight;") 
while True: 
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 
    try: 
        WebDriverWait(driver, 10).until(lambda driver: driver.execute_script("return document.body.scrollHeight;")  > check_height) 
        check_height = driver.execute_script("return document.body.scrollHeight;")  
    except: 
         break 
 
 
listElements = driver.find_elements_by_css_selector(".company-title") 
for item in listElements: 
    print(item.text) 

这应该允许您避免硬编码 time.sleep() - 相反,您只是在等待更改 height 值或在 height 情况下中断循环 在滚动后 10 秒后保持不变...