我如何配置 scrapy 以立即写入 csv。
如果我运行 scrapy crawl spider_1 并假设 spider_1 有预期的 200 个项目,那么 scrapy 将以 csv 格式写入,但按批处理写入。我不知道在哪里配置它。
我试过了
CONCURRENT_REQUESTS = 1
CONCURRENT_ITEMS = 1
但它仍然以超过 15 个批处理写入 csv 文件。
这是我测试的方式..
while sleep 2; do cat results/price.csv | wc -l; done;
结果是
0
35
35
35
35
52
52
52
52
70
70
请注意,它写入第一个 32th 项,然后是 20th 然后是 18th。
我想要的是在获取数据后立即写入项目。 我怎样才能做到这一点?
请您参考如下方法:
正如我评论的那样,将项目写入文件时,项目不会立即写入磁盘,除非缓冲区已满或您刷新缓冲区,否则它会被缓冲。由于您使用 CsvItemExporter,它不会刷新每个项目的缓冲区,请参阅 csvwriter does not save to file whay ,如果确实需要此功能,则需要调用 flush。
一种选择是您可以扩展 CsvItemExporter 并覆盖 export_item 函数,例如:
class MyCsvItemExporter(CsvItemExporter):
def export_item(self, item):
if self._headers_not_written:
self._headers_not_written = False
self._write_headers_and_set_fields_to_export(item)
fields = self._get_serialized_fields(item, default_value='',
include_empty=True)
values = list(self._build_row(x for _, x in fields))
self.csv_writer.writerow(values)
#flush
self.stream.flush()
我还没有测试代码。还有一个关于python flush to file的话题值得一读。
希望对您有所帮助。 谢谢
