Skip to main content
 首页 » 编程设计

python之Scrapy 立即写入 csv

2025年02月15日8shangdawei

我如何配置 scrapy 以立即写入 csv。

如果我运行 scrapy crawl spider_1 并假设 spider_1 有预期的 200 个项目,那么 scrapy 将以 csv 格式写入,但按批处理写入。我不知道在哪里配置它。

我试过了

CONCURRENT_REQUESTS = 1 
 
CONCURRENT_ITEMS = 1 

但它仍然以超过 15 个批处理写入 csv 文件。

这是我测试的方式..

while sleep 2; do cat results/price.csv | wc -l; done; 

结果是

   0 
  35 
  35 
  35 
  35 
  52 
  52 
  52 
  52 
  70 
  70 

请注意,它写入第一个 32th 项,然后是 20th 然后是 18th。

我想要的是在获取数据后立即写入项目。 我怎样才能做到这一点?

请您参考如下方法:

正如我评论的那样,将项目写入文件时,项目不会立即写入磁盘,除非缓冲区已满或您刷新缓冲区,否则它会被缓冲。由于您使用 CsvItemExporter,它不会刷新每个项目的缓冲区,请参阅 csvwriter does not save to file whay ,如果确实需要此功能,则需要调用 flush。

一种选择是您可以扩展 CsvItemExporter 并覆盖 export_item 函数,例如:

class MyCsvItemExporter(CsvItemExporter): 
    def export_item(self, item): 
        if self._headers_not_written: 
            self._headers_not_written = False 
            self._write_headers_and_set_fields_to_export(item) 
 
        fields = self._get_serialized_fields(item, default_value='', 
                                             include_empty=True) 
        values = list(self._build_row(x for _, x in fields)) 
        self.csv_writer.writerow(values) 
        #flush 
        self.stream.flush() 

我还没有测试代码。还有一个关于python flush to file的话题值得一读。

希望对您有所帮助。 谢谢