我有两个要合并的 CSV 文件。对于 Pandas ,我会使用:
pd.merge(df1,df2, how='left', left_on='ST_LOGINID', right_on='LOGINID')
但是 panda 在执行此操作时内存不足(“MemoryError:”),尽管在返回错误之前我的 RAM 使用量仅从 4GB 中的 1.9 GB 增加到 2.2GB。
因此,我正在寻找以下解决方案之一: 1) 一种无需将文件加载到内存中即可执行此类合并/连接操作的方法 2) 允许 pandas 使用更多 RAM 的一种方法,因为似乎有足够的可用内存。
请您参考如下方法:
尝试 csvkit :
首先安装:
pip install csvkit
然后:
csvjoin -c "ST_LOGINID, LOGINID" --outer file1.csv file2.csv
