Skip to main content
 首页 » 编程设计

python之如何逐步在 Python Selenium 中向下滚动

2025年01月19日10kevingrace

大家好,我是 Selenium 和 Python 的新手。我只是在抓取网站 pagalguy website .我知道如何向下滚动到页面底部,但我需要的是逐步向下滚动,以便 Selenium 将单击所有阅读更多按钮,但我不知道如何像这样逐步向下滚动我把它硬编码成下面的样子

browser.execute_script("window.scrollTo(0,300);") 
browser.find_element_by_link_text("Read More...").click() 
 
browser.execute_script("window.scrollTo(300,600);") 
browser.find_element_by_link_text("Read More...").click() 
 
browser.execute_script("window.scrollTo(600,900);") 
browser.find_element_by_link_text("Read More...").click() 
 
browser.execute_script("window.scrollTo(900,1200);") 
browser.find_element_by_link_text("Read More...").click() 
 
browser.execute_script("window.scrollTo(1200,1500);") 
browser.find_element_by_link_text("Read More...").click() 
 
browser.execute_script("window.scrollTo(1500,1800);") 
browser.find_element_by_link_text("Read More...").click() 
 
browser.execute_script("window.scrollTo(1800,2100);") 
browser.find_element_by_link_text("Read More...").click() 
 
browser.execute_script("window.scrollTo(2100,2500);") 
browser.find_element_by_link_text("Read More...").click() 
it goes on ....... 

我尝试使用 while 循环使其自动化,但它导致了错误,上面的方法有效,但我希望它简短且循环,以便我可以将它用于具有不同页面长度的所有其他页面。

initial_value = 0 
next_value = 300 
while next_value<300000:  
  browser.execute_script("window.scrollTo(initial_value,next_value);") 
  browser.find_element_by_link_text("Read More...").click() 
  initial_value=next_value 
  next_value+=300 

JavascriptException: Message: ReferenceError: initial_value is not defined

但是我已经定义了值,我想我已经解释了我实际想要做的事情,我想自动向下滚动并点击所有阅读更多按钮然后我将获得全文内容

请您参考如下方法:

同意@Rahul Chawla 的回答。

但添加一处更改。你可以试试这个

driver = webdriver.Chrome() 
 
read_mores = driver.find_elements_by_xpath('//a[text()="Read More..."]') 
 
for read_more in read_mores: 
    driver.execute_script("arguments[0].scrollIntoView();", read_more) 
    driver.execute_script("$(arguments[0]).click();", read_more)