Skip to main content
 首页 » 编程设计

python之如何在读取大 csv 文件时解决 pandas 的内存问题

2025年04月02日7unruledboy

我有一个 100GB 的 csv 文件,其中包含数百万行。我需要一次读取 pandas 数据帧中的 10,000 行,然后将其分块写入 SQL 服务器。

我按照 http://pandas-docs.github.io/pandas-docs-travis/io.html#iterating-through-files-chunk-by-chunk 上的建议使用了 chunksize 和 iteartor ,并经历了许多类似的问题,但我仍然遇到内存不足错误。

你能推荐一个代码来迭代读取 pandas 数据框中非常大的 csv 文件吗?

请您参考如下方法:

演示:

for chunk in pd.read_csv(filename, chunksize=10**5): 
    chunk.to_sql('table_name', conn, if_exists='append') 

其中 conn 是一个 SQLAlchemy 引擎(由 sqlalchemy.create_engine(...) 创建)