Skip to main content
 首页 » 编程设计

python之比较 Python 中具有百万条记录的 2 个文件的数据

2024年10月25日8lidabo

我有 2 个文件 old.txt 和 new.txt,其中包含数十万条数据(将近 120 万个键和相应的数量)

新.txt

key |amount 
abgc-nhd|8976 
mkis-plqa-d|-254 
mjsnh-kis-ls|987 
njud-lo-sa|5291 
mkjsh-kis-ls|686 
mjsnh-fis-ls|387 
njudd-kid-ls|-876 
nswxd-lo-sa|3191 
mki-ksjd-as|-56 

旧的.txt

key |amount 
mkjsh-kis-ls|686 
njudd-kid-ls|-876 
abgc-nhd|8976 
mjsnh-kis-ls|987 
njud-lo-sa|5291 
mjsnh-fis-ls|387 
mkis-plqa-d|-254 
nswxd-lo-sa|3191 

我想比较这两个文件。

即我想检查旧文件中的 key 是否与新文件中的 key 匹配。如果是,那么我必须比较它们的数量。

我尝试将所有值插入字典,然后检查条目是否存在,但这需要更长的时间并且系统会挂起。

有没有其他方法可以根据key比较两个文件。

谢谢。

请您参考如下方法:

如果你会用pandas,你可以这样做:

new_txt = """key |amount 
abgc-nhd|8976 
mkis-plqa-d|-254 
mjsnh-kis-ls|987 
njud-lo-sa|5291 
mkjsh-kis-ls|686 
mjsnh-fis-ls|387 
njudd-kid-ls|-876 
nswxd-lo-sa|3191 
mki-ksjd-as|-56""" 
 
old_txt  = """key |amount 
mkjsh-kis-ls|686 
njudd-kid-ls|-876 
abgc-nhd|8976 
mjsnh-kis-ls|987 
njud-lo-sa|5291 
mjsnh-fis-ls|387 
mkis-plqa-d|-254 
nswxd-lo-sa|3191""" 
 
 
import pandas as pd 
import io 
 
df_new = pd.DataFrame.from_csv(io.StringIO(new_txt), sep="|") 
df_old = pd.DataFrame.from_csv(io.StringIO(old_txt), sep="|") 
 
print(df_new - df_old) 

这给出了示例数据:

abgc-nhd           0 
mjsnh-fis-ls       0 
mjsnh-kis-ls       0 
mki-ksjd-as      NaN 
mkis-plqa-d        0 
mkjsh-kis-ls       0 
njud-lo-sa         0 
njudd-kid-ls       0 
nswxd-lo-sa        0 

NaN 表示此 key 仅存在于一组中。