我正在使用 Scrapy (Python) 编写爬虫,但不知道如何处理某些错误。
我有一个网站有时会返回一个空的正文或一个带有错误消息的正常页面。两个回复都带有标准的 200 HTTP 状态代码。
遇到这种情况我想做的就是告诉Scrapy
- 不要将响应保存到缓存(我正在使用
HTTPCACHE_ENABLED = True),因为成功请求的内容看起来不同 - 重新安排请求
- 降低请求率(我正在使用
AUTOTHROTTLE_ENABLED = True)
是否有一种简单的方法可以像 raise scrapy.TemporaryError 那样引发某个异常,或者我是否必须手动完成所有操作。在后一种情况下,如何从缓存中删除内容或与 autothrottle 模块通信?
我知道我可以对请求使用 dont_cache 来不缓存它们。但通常我确实想缓存我的请求,并且只在我想保留它时才决定响应。文档也不清楚天气这个标志避免将请求的响应保存到缓存或如果它也避免从缓存读取请求...
Autothrottle 使用下载延迟来调整请求速率。 throttling algorithm将非 200 响应视为失败响应,并且不会减少下载延迟。但是我的请求返回 200 个状态代码。所以 autothrottle 无法处理这种情况。必须有一种方法告诉 autothrottle 使用其节流逻辑并将这些特定请求视为失败。
请您参考如下方法:
在您的响应中,您可以检查条件并决定重新排队 URL。
requests disappear after queueing in scrapy
def parse(self, response):
if blank_data or should_rescrape:
yield Request(respone.url, dont_filter=True, callback=self.response)
动态调整 throttle
如果你检查self.crawler.extensions.middlewares ,你会看到它已经加载了所有扩展
以我为例
self.crawler.extensions.middlewares[5]给出 <scrapy.extensions.throttle.AutoThrottle object at 0x10b75a208> (当然,您将遍历元组并找到类型为 AutoThrottle 的元组)
现在你可以使用这个对象并在你的爬虫中动态调整值
