我最近完成了我的 Selenium Python 爬虫。当我在我的个人机器上运行它时,它工作得很好,但当我在服务器上运行它时,结果就不一样了。在服务器上,我使用 pyvirtualdisplay
browser.get('https://example.com')
html = browser.page_source
这是我的 pyvirtualdisplay 代码。
display = Display(visible=0, size=(800, 600))
display.start()
在本地机器上运行时,它完全抓取由 JavaScript 生成的 HTML,但是当我在我的服务器上运行它时,它不会抓取由 JavaScript 生成的 HTML 内容,所以我最终只得到一个没有任何内容的部分页面JS 生成的内容。
更新: 我还根据使用 Selenium 的建议截取了屏幕截图。屏幕截图显示页面已部分加载,并且 JS 的内容未加载到屏幕上。
请您参考如下方法:
这听起来像是操作系统或浏览器配置的问题。您应该做的第一件事是在您的帧缓冲区中截取结果并确保 firefox 正确加载 JS 内容。如果不是,那么您可能需要检查您的浏览器/操作系统配置。
pyvirtualdisplay有一种截图方式,大家可以看看here
specflow也可以截图,说明here
如果是 FireFox/浏览器问题,请确保您已经安装了在服务器上运行 javascript 所需的所有正确插件和 Java。确保为该浏览器启用了 javascript。
