我使用 scrapy 管道将项目保存在数据库中,它可以很好地用于此目的。现在我试着在数据库中写一条蜘蛛关闭原因的记录。当我引发 CloseSpider 异常时,我可以在引发之前产生特定项目(并将记录保存到数据库)。但是,如果蜘蛛以“完成”关闭,我就不能做同样的事情。 我尝试了什么:
- 将 spider_closed 信号连接到内部的 spider_closed 方法 spider 方法和 yield item 从那里 - 这是行不通的
- 在 spider_closed 中设置一些 spider 变量为 reason 值并且 然后尝试在管道的 close_spider 方法中读取它。问题 这是在蜘蛛之前调用的管道的 close_spider spider_closed。而且管道中也没有理由参数 close_spider 签名:close_spider(self, spider)
- 我现在的工作解决方案 - 直接在内部执行查询 蜘蛛的 spider_closed。但我想避免这种情况并将我的数据库逻辑与蜘蛛逻辑分开
那么,谁能告诉我如何访问管道内的蜘蛛关闭原因?
更新: 感谢Paul我在管道 from_crawler 方法中注册了信号处理程序(几乎就像在蜘蛛内部一样),它对我有用
@classmethod
def from_crawler(cls, crawler):
temp = cls()
crawler.signals.connect(temp.spider_closed, signal=scrapy.signals.spider_closed)
return temp
def spider_closed(self, reason):
logging.info("REASON: {}".format(reason))
请您参考如下方法:
这是我的解决方案。希望对您有所帮助。
class SubJobPipeline(object):
@classmethod
def from_crawler(cls, crawler):
ins = cls(crawler.settings)
crawler.signals.connect(ins.customize_close_spider, signal=signals.spider_closed)
return ins
def customize_close_spider(self, **kwargs):
_logger.warning("customize_close_spider kwargs: %s", kwargs)
reason = kwargs.get("reason") # reason maybe finished, shutdown or others
spider = kwargs.get("spider")
if reason == "finished":
# extract your item through spider
# do what you want
