我有多个要操作的 csv 文件(计算平均值、总和等),然后我想将它们存储在 SQLite 数据库中。
但我想知道最合适的方法是什么。
CSV 到 SQL 并使用 Pandas 进行操作
或
CSV,使用 Pandas 操作并存储在 SQL 中
比如我要存储这张表http://financials.morningstar.com/ratios/r.html?t=GOOG®ion=USA&culture=en-US中的所有数据. 我将每年更新并添加 2013、2014 等。在我的 SQL 表中。 我将创建一个列,其中每一行都有 10 年的平均值,等等。
问候,
请您参考如下方法:
目前,pandas 对操作 CSV 文件的支持远远超出了它对操作 SQL 数据库的能力,尽管现在已经付出了巨大的努力来突飞猛进地改进后者!
看看the read_csv docs .这是目前用于数据分析应用程序的最灵活、最快速且通常最强大的文本文件读取器/写入器之一。
另一方面read_sql只能写入sqlite 数据库,不存储索引。
使用 read_csv,您甚至可以阅读 MultiIndex对象(层次索引)!
如果您不依赖于数据库,那么我建议您考虑使用 pandas HDF5为了坚持。我一直在使用它,效果很好。
总而言之,如果您必须使用数据库,我会推荐您列出的第一个选择,因为除非您使用 sqlite,否则向数据库写入任何内容都无法正常工作, 但除了 sqlite 之外,您还可以阅读。
