Skip to main content
 首页 » 编程设计

Python 软件开发(CSV 到 Pandas 到 SQL 或 CSV 到 SQL 到 Pandas)

2024年11月01日11zhengyun_ustc

我有多个要操作的 csv 文件(计算平均值、总和等),然后我想将它们存储在 SQLite 数据库中。

但我想知道最合适的方法是什么。

CSV 到 SQL 并使用 Pandas 进行操作

或

CSV,使用 Pandas 操作并存储在 SQL 中

比如我要存储这张表http://financials.morningstar.com/ratios/r.html?t=GOOG&region=USA&culture=en-US中的所有数据. 我将每年更新并添加 2013、2014 等。在我的 SQL 表中。 我将创建一个列,其中每一行都有 10 年的平均值,等等。

问候,

请您参考如下方法:

目前,pandas 对操作 CSV 文件的支持远远超出了它对操作 SQL 数据库的能力,尽管现在已经付出了巨大的努力来突飞猛进地改进后者!

看看the read_csv docs .这是目前用于数据分析应用程序的最灵活、最快速且通常最强大的文本文件读取器/写入器之一。

另一方面read_sql只能写入sqlite 数据库,不存储索引。

使用 read_csv,您甚至可以阅读 MultiIndex对象(层次索引)!

如果您不依赖于数据库,那么我建议您考虑使用 pandas HDF5为了坚持。我一直在使用它,效果很好。

总而言之,如果您必须使用数据库,我会推荐您列出的第一个选择,因为除非您使用 sqlite,否则向数据库写入任何内容都无法正常工作, 但除了 sqlite 之外,您还可以阅读。