我一直在尝试解决一个相当复杂的问题(至少对于像我这样的新手来说是复杂的)。我有一个包含数十万行的文件(“file1”),如下所示(包括比显示更多的字段):
1 name1 18 25 A1 ID1
2 name2 28 34 A1 ID1
3 name2 71 123 A2 ID2
4 name3 9 56 A5 ID5
5 name3 9 89 A7 ID7
我的下一个文件(“file2”)也很大,如下所示:
1 name1 18 25 52 59 65 78 94 134
2 name1 18 25 52 58
3 name2 28 34 71 123
4 name2 27 35 42 59 61 68 71 125 156 198 206 287
5 name2 28 31 43 56 71 123 158 200
因此,file2 的每一行都包含“成对”的值(即字段 $3 和 $4,字段 $5 和 $6 等),其中一些匹配 file1 中的“对”(字段 $3 和 $4)在两个文件中以相同名称开头的行上。这方面的一个例子是 file2 中第 3 行的第一对与 file1 第 2 行中的一对匹配。有些对几乎匹配(例如,file2 中第 4 行的 $3 和 $4 与 file1 中的第 2 行)。 file1 中的一对在 file2 中每行只能出现一次。
我想做的是,如果两个文件中的行具有相同的“名称”(即在本例中为相同的字段 $2),则尝试将 file2 中的每一对与 file1 的对进行匹配,如果存在匹配项,以 file2 的格式输出一个包含 file1 中其他信息的新文件。换句话说,我想用 file1 中的“A”和“ID”信息替换 file2 中的数字对($5 和 $6 列)。如果在 file1 中找不到与 file2 中的对匹配的项,则应标记输出,例如“未找到”。请注意,对的第一个和第二个值应该在文件之间匹配。
扭曲:
首先,file2 的行包含不同数量的对(超过一百列)。
其次,我想接受“模糊”匹配。我的意思是接受 file2 中的任何值,比方说,与 file1 中的实际值相差 +/- 5(即(file1 中的值)-5 <(file2 中的值)<(file1 中的值)+5) .
输入文件中的值实际上比示例中显示的要大得多。总而言之,这种情况下的所有输出看起来像这样(“file3”):
1 name1 A1 ID1 not found not found not found
2 name1 A1 ID1 not found
3 name2 A1 ID1 A2 ID2
4 name2 A1 ID1 not found not found A2 ID2 not found not found
5 name2 A1 ID not found A2 ID2 not found
到目前为止,我一直在 awk 树上寻找解决方案,但没有成功。
我真的被困住了。任何帮助将不胜感激。
请您参考如下方法:
将 GNU awk 用于真正的多维数组:
$ cat tst.awk
NR==FNR {
a[$2][$3][$4][5] = $5
a[$2][$3][$4][6] = $6
next
}
$2 in a {
for (i=3; i<=NF; i+=2) {
hit = 0
for (key3 in a[$2]) {
if ( abs($i - key3) < 5 ) {
for (key4 in a[$2][key3]) {
if ( abs($(i+1) - key4) < 5 ) {
hit = 1
break
}
}
if (hit) {
break
}
}
}
$i = (hit ? a[$2][key3][key4][5] : "not")
$(i+1) = (hit ? a[$2][key3][key4][6] : "found")
}
}
{ print }
function abs(v) { return (v<0 ? -v : v) }
.
$ awk -f tst.awk file1 file2
1 name1 A1 ID1 not found not found not found
2 name1 A1 ID1 not found
3 name2 A1 ID1 A2 ID2
4 name2 A1 ID1 not found not found A2 ID2 not found not found
5 name2 A1 ID1 not found A2 ID2 not found
