Skip to main content
 首页 » 编程设计

python之使用 Python 合并具有单个重复字段的 CSV 中的行的最有效方法是什么

2024年11月01日7freeliver54

我发现了一些类似的问题,但我认为可行的答案太复杂了,无法转化为我需要的答案。我可以借助一些帮助来弄清楚如何在 Python 中完成以下操作:

我有一个包含三列数据的 CSV 文件。在第一列中,我有重复值(如在其他行中重复),我需要将其与第二列和第三列中的特定数据合并到一行中。结果应该是另一个 CSV。

此外,对于每组具有重复第一列数据的行,第二列和第三列中的数据有多种情况需要合并。换句话说,对于第一列值的任何第一个实例,如果第二列中的值不为空,则获取它并将其放置在第二列的“最终”行中,否则如果第二列为空,则获取第三列中的值并放置在第三列的“最后”行中。我需要实现的规则是:第一列值的第一个和最后一个实例需要组合存在的第二列和第三列数据,同时将第二列数据保留在第二列和第三列中。此外,源 CSV 的给定行中永远不会有三个完整值。

为了更好地解释,这里是源 CSV 中列出的数据: 这些是源 CSV 中需要组合的行集示例:

示例 1:这里我有四行与第一列数据匹配,对于所有示例,我需要结果是包含第一列值的行,后跟在第一列值的第一个和最后一个实例中找到的值。

wp.xyz03.def02.01195.1,wp03.xyz03-c01_lc08_m00, 
wp.xyz03.def02.01195.1,wp02.xyz03, 
wp.xyz03.def02.01195.1,,wp01.def02 
wp.xyz03.def02.01195.1,,wp02.def02-c02_lc14_m00 

因此,该组期望的结果是:

wp.xyz03.def02.01195.1,wp03.xyz03-c01_lc08_m00,wp02.def02-c02_lc14_m00 

示例 2:这里我有三行与第一列数据匹配,我再次需要结果是包含第一列值的行,后跟在第一列值的第一个和最后一个实例中找到的值。

wp.atl21.lmn01.01193.2,wp03.atl21-c06_lc14_m00, 
wp.atl21.lmn01.01193.2,wp02.atl21, 
wp.atl21.lmn01.01193.2,,wp03.lmn01 

因此,该组期望的结果是:

wp.atl21.lmn01.01193.2,wp03.atl21-c06_lc14_m00,wp03.lmn01 

示例 3:这里我有三行与第一列数据匹配,我再次需要结果是包含第一列值的行,后跟在第一列值的第一个和最后一个实例中找到的值。请注意,此示例看到第一行现在在第二列中不包含任何值,而是在第三列中包含所需的值。

tp.ghi03.ghi05.02194.65,,tp05.ghi05:1 
tp.ghi03.ghi05.02194.65,tp05.ghi03:2, 
tp.ghi03.ghi05.02194.65,tp05.ghi03-c06_lc11_m00, 

因此,该组期望的结果是:

tp.ghi03.ghi05.02194.65,tp05.ghi03-c06_lc11_m00,tp05.ghi05:1 

综合起来:

这个:

wp.xyz03.def02.01195.1,wp03.xyz03-c01_lc08_m00, 
wp.xyz03.def02.01195.1,wp02.xyz03, 
wp.xyz03.def02.01195.1,,wp01.def02 
wp.xyz03.def02.01195.1,,wp02.def02-c02_lc14_m00 
wp.atl21.lmn01.01193.2,wp03.atl21-c06_lc14_m00, 
wp.atl21.lmn01.01193.2,wp02.atl21, 
wp.atl21.lmn01.01193.2,,wp03.lmn01 
tp.ghi03.ghi05.02194.65,,tp05.ghi05:1 
tp.ghi03.ghi05.02194.65,tp05.ghi03:2, 
tp.ghi03.ghi05.02194.65,tp05.ghi03-c06_lc11_m00, 

需要变成这样:

wp.xyz03.def02.01195.1,wp03.xyz03-c01_lc08_m00,wp02.def02-c02_lc14_m00 
wp.atl21.lmn01.01193.2,wp03.atl21-c06_lc14_m00,wp03.lmn01 
tp.ghi03.ghi05.02194.65,tp05.ghi03-c06_lc11_m00,tp05.ghi05:1 

我已经尝试了很多方法来实现这一目标,但如果不迅速进入非常陌生的领域,我将无法获得预期的结果。

这是我最初的尝试,当我达到它写出的三个值时,结果切断了一些必要的值,但从未发现可能还有另一个值:

reader = csv.reader(open('parse_lur_luraz_clean_temp.csv', 'r'), delimiter=',') 
final = ['-','-','-'] 
parselur = ['-'] 
lur_a = "" 
lur_z = "" 
for row in reader: 
    if row[0] != parselur[0]: 
        final = ['-','-','-'] 
        if row[1] != '': lur_a = row[1] 
        if row[2] != '': lur_z = row[2] 
        parselur[0] = row[0] 
    elif row[0] == parselur[0]: 
        if row[1] == '': 
            lur_a = row[1] 
        elif row[1] != '': 
            lur_a = row[1] 
        if row[2] == '': 
            lur_z = row[2] 
        elif row[2] != '': 
            lur_z = row[2] 
        parselur[0] = row[0] 
    if parselur[0] != '' and parselur[0] not in final: final[0] = parselur[0] 
    if lur_a != '':  
        if final[1] == '-' or '_lc' not in final[1]: final[1] = lur_a 
        lur_a = '' 
    if lur_z != '':  
        if final[2] == '-' or '_lc' not in final[2]: final[2] = lur_z 
        lur_z = '' 
    if len(final) == 3 and '-' not in final: 
        fd = open('final_alu_nsn_temp.csv','a') 
        writer = csv.writer(fd) 
        writer.writerow((final)) 
        fd.close() 
        final = ['-','-','-'] 
    else: 
        parselur[0] = row[0] 

请您参考如下方法:

现在正是了解 itertools.groupby 的最佳时机:

import csv 
from itertools import groupby 
 
# assuming Python 2 
with open("source.csv", "rb") as fp_in, open("final.csv", "wb") as fp_out: 
    reader = csv.reader(fp_in) 
    writer = csv.writer(fp_out) 
    grouped = groupby(reader, lambda x: x[0]) 
    for key, group in grouped: 
        rows = list(group) 
        rows = [rows[0], rows[-1]] 
        columns = zip(*(r[1:] for r in rows)) 
        use_values = [max(c) for c in columns] 
        new_row = [key] + use_values 
        writer.writerow(new_row) 

产生

$ cat final.csv  
wp.xyz03.def02.01195.1,wp03.xyz03-c01_lc08_m00,wp02.def02-c02_lc14_m00 
wp.atl21.lmn01.01193.2,wp03.atl21-c06_lc14_m00,wp03.lmn01 
tp.ghi03.ghi05.02194.65,tp05.ghi03-c06_lc11_m00,tp05.ghi05:1