Skip to main content
 首页 » 编程设计

python之管道中的 scrapy close 原因

2025年02月15日8TianFang

我使用 scrapy 管道将项目保存在数据库中,它可以很好地用于此目的。现在我试着在数据库中写一条蜘蛛关闭原因的记录。当我引发 CloseSpider 异常时,我可以在引发之前产生特定项目(并将记录保存到数据库)。但是,如果蜘蛛以“完成”关闭,我就不能做同样的事情。 我尝试了什么:

  1. 将 spider_closed 信号连接到内部的 spider_closed 方法 spider 方法和 yield item 从那里 - 这是行不通的
  2. 在 spider_closed 中设置一些 spider 变量为 reason 值并且 然后尝试在管道的 close_spider 方法中读取它。问题 这是在蜘蛛之前调用的管道的 close_spider spider_closed。而且管道中也没有理由参数 close_spider 签名:close_spider(self, spider)
  3. 我现在的工作解决方案 - 直接在内部执行查询 蜘蛛的 spider_closed。但我想避免这种情况并将我的数据库逻辑与蜘蛛逻辑分开

那么,谁能告诉我如何访问管道内的蜘蛛关闭原因?

更新: 感谢Paul我在管道 from_crawler 方法中注册了信号处理程序(几乎就像在蜘蛛内部一样),它对我有用

@classmethod 
def from_crawler(cls, crawler): 
    temp = cls() 
    crawler.signals.connect(temp.spider_closed, signal=scrapy.signals.spider_closed) 
    return temp 
 
def spider_closed(self, reason): 
    logging.info("REASON: {}".format(reason)) 

请您参考如下方法:

这是我的解决方案。希望对您有所帮助。

class SubJobPipeline(object): 
    @classmethod 
    def from_crawler(cls, crawler): 
        ins = cls(crawler.settings) 
        crawler.signals.connect(ins.customize_close_spider, signal=signals.spider_closed) 
        return ins 
 
    def customize_close_spider(self, **kwargs): 
        _logger.warning("customize_close_spider kwargs: %s", kwargs) 
        reason = kwargs.get("reason") # reason maybe finished, shutdown or others 
        spider = kwargs.get("spider") 
        if reason == "finished": 
            # extract your item through spider 
            # do what you want