我已经使用 Selenium 和 python 进行网络抓取已有几周了。它一直工作得很好。一直在 macOS 和 Windows 7 上运行。然而, headless 网络驱动程序突然停止工作。我一直在使用具有以下设置的 chromedriver:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--headless")
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
chrome_options.add_argument("--window-size=1920x1080")
driver = webdriver.Chrome(chrome_options=options)
driver.get('url')
最初我必须添加窗口、gpu 和沙箱参数才能使其正常工作,直到现在它都正常工作。但是,现在运行脚本时它会卡在 driver.get('url') 处。它不会产生错误或任何东西似乎无限期地运行。当我在没有 headless 的情况下运行并简单地运行时:
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('url')
它完全按照预期工作。这个问题也与我的 windows 机器无关。我从哪里开始?
请您参考如下方法:
已解决
由于某种原因,代理设置正在减慢它的速度。因此它通过添加解决了:
options.add_argument(f'--proxy-server={None}')
