Skip to main content
 首页 » 编程设计

python之在 python 中处理大型数据集的最佳方式

2025年04月02日13dyllove98

我正在处理一个大型金融数据集(目前为 15 GB,但稍后将达到 200 GB)。使用它的最佳方式是什么。特别是,我想做一些统计测试并使用毫秒数据生成一些图表。到目前为止,我已经使用 sqlite3 来简化操作,但它似乎无法处理文件的大小。我正在使用 PyCharm(不确定是否有帮助)

请您参考如下方法:

如果您想管理大量数据,sqlite 不是一个好的选择(实际上我不会将 sqlite 用于原型(prototype)设计或运行测试以外的其他事情)。

您可以尝试使用amazon RDS来存储数据库http://aws.amazon.com/es/rds/并在亚马逊提供的数据库引擎之一中进行选择。

至于使用 Python,我认为你应该让数据库引擎处理请求,而只使用 python 来生成图形。