我目前正在尝试从网站上抓取数据并从中构建一个大型(并且可能会随着时间增长)数据集。我想知道在处理、保存和加载大型数据集时是否有任何好的做法可以采用。
更具体地说，当我要保存的数据集太大，无法存储在RAM中，然后一次性写入磁盘时，我该怎么办？一次写入一个数据点是不是效率太低了？有没有比一次写入文件中等大小的批处理更聪明的方法？
感谢您的宝贵时间!
请您参考如下方法:
当然，使用数据库。
您可能应该看看 MongoDB 或 elasticSearch，因为您存储的似乎是文档而不是关系数据。
我目前正在尝试从网站上抓取数据并从中构建一个大型(并且可能会随着时间增长)数据集。我想知道在处理、保存和加载大型数据集时是否有任何好的做法可以采用。
更具体地说，当我要保存的数据集太大，无法存储在RAM中，然后一次性写入磁盘时，我该怎么办？一次写入一个数据点是不是效率太低了？有没有比一次写入文件中等大小的批处理更聪明的方法？
感谢您的宝贵时间!
请您参考如下方法:
当然，使用数据库。
您可能应该看看 MongoDB 或 elasticSearch，因为您存储的似乎是文档而不是关系数据。
