Skip to main content
 首页 » 编程设计

python之合并两个没有 Pandas 的csv

2024年10月25日9findumars

我有两个要合并的 CSV 文件。对于 Pandas ,我会使用:

pd.merge(df1,df2, how='left', left_on='ST_LOGINID', right_on='LOGINID')

但是 panda 在执行此操作时内存不足(“MemoryError:”),尽管在返回错误之前我的 RAM 使用量仅从 4GB 中的 1.9 GB 增加到 2.2GB。

因此,我正在寻找以下解决方案之一: 1) 一种无需将文件加载到内存中即可执行此类合并/连接操作的方法 2) 允许 pandas 使用更多 RAM 的一种方法,因为似乎有足够的可用内存。

请您参考如下方法:

尝试 csvkit :

首先安装:

pip install csvkit 

然后:

csvjoin -c "ST_LOGINID, LOGINID" --outer file1.csv file2.csv