Skip to main content
 首页 » 编程设计

python之scrapy: post some forms following scrapy 整理处理 urls

2024年10月25日12mengfanrong

我正在使用 scrapy 从成员(member)的唯一网站上抓取数据。我成功地执行了登录和抓取数据。

但是,我现在需要在数据抓取完成后在网站上提交一些表格。即:在所有数据读取之后,我想将一些数据写入我正在从中抓取(读取)数据的站点。

我的问题是:

我如何得知 scrapy 已完成处理所有 url 抓取,以便我可以执行一些表单提交?

我注意到一个解决方案 - 请参阅此处 ( scrapy: Call a function when a spider quits ),但由于某些原因,我无法继续在 self.spider_closed 方法中产生更多请求,因为它在这些示例中被调用,因此我可以执行一些写入操作。

请您参考如下方法:

是的,在 spider_closed 信号被触发后你不能继续使用蜘蛛 - 已经太晚了,蜘蛛此时已经关闭。

更好的信号是 spider_idle :

Sent when a spider has gone idle, which means the spider has no further:

  • requests waiting to be downloaded
  • requests scheduled
  • items being processed in the item pipeline