我正在使用 scrapy 从成员(member)的唯一网站上抓取数据。我成功地执行了登录和抓取数据。
但是,我现在需要在数据抓取完成后在网站上提交一些表格。即:在所有数据读取之后,我想将一些数据写入我正在从中抓取(读取)数据的站点。
我的问题是:
我如何得知 scrapy 已完成处理所有 url 抓取,以便我可以执行一些表单提交?
我注意到一个解决方案 - 请参阅此处 ( scrapy: Call a function when a spider quits ),但由于某些原因,我无法继续在 self.spider_closed 方法中产生更多请求,因为它在这些示例中被调用,因此我可以执行一些写入操作。
请您参考如下方法:
是的,在 spider_closed 信号被触发后你不能继续使用蜘蛛 - 已经太晚了,蜘蛛此时已经关闭。
更好的信号是 spider_idle :
Sent when a spider has gone idle, which means the spider has no further:
- requests waiting to be downloaded
- requests scheduled
- items being processed in the item pipeline
