Skip to main content
 首页 » 编程设计

python之headless Selenium 突然停止工作

2024年11月24日10落叶无声

我已经使用 Selenium 和 python 进行网络抓取已有几周了。它一直工作得很好。一直在 macOS 和 Windows 7 上运行。然而, headless 网络驱动程序突然停止工作。我一直在使用具有以下设置的 chromedriver:

from selenium import webdriver 
from selenium.webdriver.chrome.options import Options 
 
options = Options() 
options.add_argument("--headless") 
options.add_argument('--no-sandbox') 
options.add_argument('--disable-gpu') 
chrome_options.add_argument("--window-size=1920x1080") 
driver = webdriver.Chrome(chrome_options=options) 
 
driver.get('url') 

最初我必须添加窗口、gpu 和沙箱参数才能使其正常工作,直到现在它都正常工作。但是,现在运行脚本时它会卡在 driver.get('url') 处。它不会产生错误或任何东西似乎无限期地运行。当我在没有 headless 的情况下运行并简单地运行时:

from selenium import webdriver 
driver = webdriver.Chrome() 
 
driver.get('url') 

它完全按照预期工作。这个问题也与我的 windows 机器无关。我从哪里开始?

请您参考如下方法:

已解决

由于某种原因,代理设置正在减慢它的速度。因此它通过添加解决了:

options.add_argument(f'--proxy-server={None}')