Skip to main content
 首页 » 编程设计

python之比较文件之间的字段对,允许偏移

2024年12月31日10youxin

我一直在尝试解决一个相当复杂的问题(至少对于像我这样的新手来说是复杂的)。我有一个包含数十万行的文件(“file1”),如下所示(包括比显示更多的字段):

1 name1 18 25 A1 ID1 
2 name2 28 34 A1 ID1 
3 name2 71 123 A2 ID2 
4 name3 9 56 A5 ID5 
5 name3 9 89 A7 ID7 

我的下一个文件(“file2”)也很大,如下所示:

1 name1 18 25 52 59 65 78 94 134 
2 name1 18 25 52 58 
3 name2 28 34 71 123 
4 name2 27 35 42 59 61 68 71 125 156 198 206 287 
5 name2 28 31 43 56 71 123 158 200 

因此,file2 的每一行都包含“成对”的值(即字段 $3 和 $4,字段 $5 和 $6 等),其中一些匹配 file1 中的“对”(字段 $3 和 $4)在两个文件中以相同名称开头的行上。这方面的一个例子是 file2 中第 3 行的第一对与 file1 第 2 行中的一对匹配。有些对几乎匹配(例如,file2 中第 4 行的 $3 和 $4 与 file1 中的第 2 行)。 file1 中的一对在 file2 中每行只能出现一次。

我想做的是,如果两个文件中的行具有相同的“名称”(即在本例中为相同的字段 $2),则尝试将 file2 中的每一对与 file1 的对进行匹配,如果存在匹配项,以 file2 的格式输出一个包含 file1 中其他信息的新文件。换句话说,我想用 file1 中的“A”和“ID”信息替换 file2 中的数字对($5 和 $6 列)。如果在 file1 中找不到与 file2 中的对匹配的项,则应标记输出,例如“未找到”。请注意,对的第一个和第二个值应该在文件之间匹配。

扭曲:

首先,file2 的行包含不同数量的对(超过一百列)。

其次,我想接受“模糊”匹配。我的意思是接受 file2 中的任何值,比方说,与 file1 中的实际值相差 +/- 5(即(file1 中的值)-5 <(file2 中的值)<(file1 中的值)+5) .

输入文件中的值实际上比示例中显示的要大得多。总而言之,这种情况下的所有输出看起来像这样(“file3”):

1 name1 A1 ID1 not found not found not found 
2 name1 A1 ID1 not found 
3 name2 A1 ID1 A2 ID2 
4 name2 A1 ID1 not found not found A2 ID2 not found not found 
5 name2 A1 ID not found A2 ID2 not found 

到目前为止,我一直在 awk 树上寻找解决方案,但没有成功。

我真的被困住了。任何帮助将不胜感激。

请您参考如下方法:

将 GNU awk 用于真正的多维数组:

$ cat tst.awk 
NR==FNR { 
    a[$2][$3][$4][5] = $5 
    a[$2][$3][$4][6] = $6 
    next 
} 
$2 in a { 
    for (i=3; i<=NF; i+=2) { 
        hit = 0 
        for (key3 in a[$2]) { 
            if ( abs($i - key3) < 5 ) { 
                for (key4 in a[$2][key3]) { 
                    if ( abs($(i+1) - key4) < 5 ) { 
                        hit = 1 
                        break 
                    } 
                } 
                if (hit) { 
                    break 
                } 
            } 
        } 
        $i     = (hit ? a[$2][key3][key4][5] : "not") 
        $(i+1) = (hit ? a[$2][key3][key4][6] : "found") 
    } 
} 
{ print } 
function abs(v) { return (v<0 ? -v : v) } 

.

$ awk -f tst.awk file1 file2 
1 name1 A1 ID1 not found not found not found 
2 name1 A1 ID1 not found 
3 name2 A1 ID1 A2 ID2 
4 name2 A1 ID1 not found not found A2 ID2 not found not found 
5 name2 A1 ID1 not found A2 ID2 not found