Skip to main content
 首页 » 编程设计

python之Scrapyd 暂停/继续工作

2025年02月15日10zfyouxi

看起来没有合法的方式来暂停/继续使用 Scrapyd 爬行,就像 Scrapy 本身一样(scrapy crawl spider -s JOBDIR=jobdir/spider-1)。 我找到的唯一解决方案是在这里:

https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ

但我还没有理解这个想法。

那么是否可以使用 Scrapyd 暂停/继续工作?

谢谢你的时间

请您参考如下方法:

思路如下:

当您从 cmd 运行蜘蛛时,您可以粘贴额外的参数,例如:scrapy crawl myspider -s JOBDIR=crawls/somespider-1

当您在端点 schedule.json 中使用 Scrapyd 时,您还可以粘贴一些设置。如果您使用的是 scrapyd-client,它将如下所示:

s = {'JOBDIR': 'crawls/somespider-1'} 
job = api.schedule(project_name, spider_name, settings=s) 

之后,您可以取消作业。下一次,当你将运行相同的工作时 - scrapyd 恢复以前的工作