我每天都在抓取网站以确定库存产品的变化。
我如何最好地存储此数据以比较以前的日期？
数据如下所示:
{'name': productname, 'url': "URL to product", "status": "In stock or not", "variants": ['3', '7', '9']}
大约有 1000 种产品。
我需要每天存储一次所有这些数据，这样我就可以检索它并与以前的日期进行比较，以注意产品是否缺货/缺货。我还需要查看变体是否已被删除/添加。
我不知道应该如何构建它。我应该使用数据库、多个 CSV 文件还是文本文件？
有什么建议吗？
请您参考如下方法:
这不是特别大的数据量，所以 pickle 应该足够了(也是最简单的)，除非你特别关心性能(你不是在一个机器上运行 python嵌入式系统，是吗？)。
要查看是否有任何更改，您需要做的就是保留之前抓取的数据，因此您永远只需要存储 1000 个产品。当您检测到更改时，如果您计划进行多次 爬网，或者让系统运行长，您可以将其记录到文件或数据库中> 时间。
请注意，此方法只会保存您选择的变量的更改。如果您后来决定需要某个其他变量的变更日志，您将无法计算它。
此外，将 status 值转换为 bool 值可能是值得的，如果它只能采用两个值的话。
