Skip to main content
 首页 » 编程设计

python之Scrapy之在抓取期间写入磁盘

2025年02月15日798°冷暖

看起来 scrapy 管道在写入文件之前等待抓取完成。持久性选项(使用 JOBDIR)似乎不会在爬网期间写入输出文件。

如果我想,我有什么选择:

  • a) 按原样保存每个项目

  • b) 每收集 10 个项目保存一次

请您参考如下方法:

如果您在使用 scrapy 进行日志记录时遇到问题,您可以通过在 Scrapy 项目的 settings.py 文件中添加一行来调整您的日志记录级别:

LOG_LEVEL = 'ERROR' 

如果你想打印输出到单独的文件,你可以从命令行这样做

scrapy crawl yourobject -s LOG_FILE= mynew.log 

这就是我在 Ubuntu 上的工作方式。