看起来 scrapy 管道在写入文件之前等待抓取完成。持久性选项(使用 JOBDIR)似乎不会在爬网期间写入输出文件。
如果我想,我有什么选择:
a) 按原样保存每个项目
b) 每收集 10 个项目保存一次
请您参考如下方法:
如果您在使用 scrapy 进行日志记录时遇到问题,您可以通过在 Scrapy 项目的 settings.py 文件中添加一行来调整您的日志记录级别:
LOG_LEVEL = 'ERROR'
如果你想打印输出到单独的文件,你可以从命令行这样做
scrapy crawl yourobject -s LOG_FILE= mynew.log
这就是我在 Ubuntu 上的工作方式。
