我正在使用 scrapy 来抓取一些网页。但在某些时候,Google reCAPTCHA 会挡路。
如果浏览器(在本例中为 scrapy)没有正在运行的 javascript,Google reCAPTCHA 甚至不会加载。它只是要求您启用 javascript 以查看和解决 reCAPTCHA。
所以,我认为,如果我能找到一种方法在它发生时向用户显示这个 reCAPTCHA,用户可以手动解决这个问题并且 scrapy 继续抓取,但我无法用真正的 javascript 中断这个过程.此时我可以使用什么?是否可以将 selenium 与 scrapy 混合?
请您参考如下方法:
听起来您想构建一些半-自动的东西。 Scrapy 对此不利,正如您所说,它无法处理 javascript。
我会推荐尝试 Selenium 。它启动一个完整的 chrome 浏览器并且是可编写脚本的。参见 https://selenium-python.readthedocs.io/
您可以停止脚本和某些事件(例如 reCAPTCHA),然后让用户接管。
