Skip to main content
 首页 » 编程设计

python之读取 CSV 并根据两列(多列中的)中的值删除重复值

2024年11月01日8wayfarer

[使用 Python3] 我有一个 csv 文件,我想读取它并删除重复项的“特殊”情况。该脚本应将去重的 csv 输出到 csv,同时尊重 header 。

最好是通过示例来解释它。 csv 文件看起来像这样:

ID  Name    HeaderX HeaderY HeaderZ ... 
1   A       string  float   string  ... 
1   A       string  float   string  ... 
1   A       string  float   string  ... 
2   A       string  float   string  ... 
2   B       string  float   string  ... 
3   A       string  float   string  ... 
4   B       string  float   string  ... 
5   C       string  float   string  ... 
6   D       string  float   string  ... 
... ...     ...     ...     ...     ... 

这里有 ID=1 和 ID=2 的重复行,但是我想保留名称相同的所有重复行。所以在这个例子中我想保留 ID=1 的所有实例,但删除 ID=2 的所有实例。换句话说,删除名称具有 1 个以上变体的所有重复行。 (这有意义吗?!)

目前我有以下代码(下方),基于 this线。然而,它的作用恰恰相反,根据两列删除重复项并保留 ID=2 的所有实例并删除 ID=1 的行。

此外,理想情况下我希望脚本打印它删除的重复项的数量。

import csv 
 
filename = 'testing.csv' 
outfile = 'outfile.csv' 
 
with open(outfile, 'w') as fout: 
    writer = None 
    entries = set() 
    with open(filename, 'r') as fin: 
        reader = csv.DictReader(fin) 
 
        if not writer: 
            writer = csv.DictWriter(fout, lineterminator='\n', fieldnames=reader.fieldnames) 
            writer.writeheader() 
 
        for row in reader: 
            key = (row['ID'], row['Name']) 
 
            if key not in entries: 
                writer.writerow(row) 
                entries.add(key) 

请您参考如下方法:

如果行按 ID 排序,您可以使用以下代码。

import csv 
import itertools 
import operator 
 
filename = 'testing.csv' 
outfile = 'outfile.csv' 
ndups = 0 
 
with open(filename, 'r') as fin, open(outfile, 'w') as fout: 
    reader = csv.DictReader(fin) 
    writer = csv.DictWriter(fout, lineterminator='\n', fieldnames=reader.fieldnames) 
    for id_, grp in itertools.groupby(reader, key=operator.itemgetter('ID')): 
        rows = list(grp) 
        if len({row['Name'] for row in rows}) > 1: 
            ndups += len(rows) 
            continue 
        writer.writerows(rows) 
 
print('{} duplicates.'.format(ndups))