我有 2 个文件 old.txt 和 new.txt,其中包含数十万条数据(将近 120 万个键和相应的数量)
新.txt
key |amount
abgc-nhd|8976
mkis-plqa-d|-254
mjsnh-kis-ls|987
njud-lo-sa|5291
mkjsh-kis-ls|686
mjsnh-fis-ls|387
njudd-kid-ls|-876
nswxd-lo-sa|3191
mki-ksjd-as|-56
旧的.txt
key |amount
mkjsh-kis-ls|686
njudd-kid-ls|-876
abgc-nhd|8976
mjsnh-kis-ls|987
njud-lo-sa|5291
mjsnh-fis-ls|387
mkis-plqa-d|-254
nswxd-lo-sa|3191
我想比较这两个文件。
即我想检查旧文件中的 key 是否与新文件中的 key 匹配。如果是,那么我必须比较它们的数量。
我尝试将所有值插入字典,然后检查条目是否存在,但这需要更长的时间并且系统会挂起。
有没有其他方法可以根据key比较两个文件。
谢谢。
请您参考如下方法:
如果你会用pandas,你可以这样做:
new_txt = """key |amount
abgc-nhd|8976
mkis-plqa-d|-254
mjsnh-kis-ls|987
njud-lo-sa|5291
mkjsh-kis-ls|686
mjsnh-fis-ls|387
njudd-kid-ls|-876
nswxd-lo-sa|3191
mki-ksjd-as|-56"""
old_txt = """key |amount
mkjsh-kis-ls|686
njudd-kid-ls|-876
abgc-nhd|8976
mjsnh-kis-ls|987
njud-lo-sa|5291
mjsnh-fis-ls|387
mkis-plqa-d|-254
nswxd-lo-sa|3191"""
import pandas as pd
import io
df_new = pd.DataFrame.from_csv(io.StringIO(new_txt), sep="|")
df_old = pd.DataFrame.from_csv(io.StringIO(old_txt), sep="|")
print(df_new - df_old)
这给出了示例数据:
abgc-nhd 0
mjsnh-fis-ls 0
mjsnh-kis-ls 0
mki-ksjd-as NaN
mkis-plqa-d 0
mkjsh-kis-ls 0
njud-lo-sa 0
njudd-kid-ls 0
nswxd-lo-sa 0
NaN 表示此 key 仅存在于一组中。
