看起来没有合法的方式来暂停/继续使用 Scrapyd 爬行,就像 Scrapy 本身一样(scrapy crawl spider -s JOBDIR=jobdir/spider-1)。 我找到的唯一解决方案是在这里:
https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ
但我还没有理解这个想法。
那么是否可以使用 Scrapyd 暂停/继续工作?
谢谢你的时间
请您参考如下方法:
思路如下:
当您从 cmd 运行蜘蛛时,您可以粘贴额外的参数,例如:scrapy crawl myspider -s JOBDIR=crawls/somespider-1
当您在端点 schedule.json 中使用 Scrapyd 时,您还可以粘贴一些设置。如果您使用的是 scrapyd-client,它将如下所示:
s = {'JOBDIR': 'crawls/somespider-1'}
job = api.schedule(project_name, spider_name, settings=s)
之后,您可以取消作业。下一次,当你将运行相同的工作时 - scrapyd 恢复以前的工作
