我正在尝试使用 python 中的 Scrapy 框架来抓取网站。但我正在获取验证码。服务器使用 Distil netwrok bot detection 实现 bot 检测。无论如何我可以解决它吗?
请您参考如下方法:
我个人将其淹没在代理中。在被阻止之前 4 个请求的 1 个代理,然后我更改代理。我有几万个免费代理,问题不大。但它不是很快,所以我将并发设置为 1k 左右。
我正在尝试使用 python 中的 Scrapy 框架来抓取网站。但我正在获取验证码。服务器使用 Distil netwrok bot detection 实现 bot 检测。无论如何我可以解决它吗?
请您参考如下方法:
我个人将其淹没在代理中。在被阻止之前 4 个请求的 1 个代理,然后我更改代理。我有几万个免费代理,问题不大。但它不是很快,所以我将并发设置为 1k 左右。