我正在研究一个在经过身份验证的情况下抓取网站的蜘蛛，它使用多个用户和多个代理。无论如何，我是否可以处理 cookie、代理和 session ，以便每个用户将他们的特定 cookie 与特定代理一起使用，这样爬行就没有问题了？
目前，我可以在经过身份验证的单一 IP 下对一个用户进行抓取，但我想对更多用户执行此操作。
请您参考如下方法:
这是可能的，但需要一些工作。
我可以想到两种方法来实现这一点:
- 手动调整每个
Request和Response，这看起来更简单 - 写一个中间件，比较复杂，但是比较通用
在这两种情况下，此信息都应该有所帮助:
- 使用dont_merge_cookies和 CookieJar
- 你可以set a proxy每个请求
