Skip to main content
 首页 » 编程设计

python之使用 Python 在 txt 文件中查找 csv 值的问题

2025年02月15日9arxive

我是 Stackoverflow 的新手,也是 Python 的新手。我曾尝试在网站上搜索此问题的答案,但没有找到与 csv 和 txt 文件之间的匹配值相关的答案。

我正在编写一个简单的 Python 脚本,它从大型 csv 文件(~600k 行)中读取一行,从该行中获取一个值,分配给一个变量,然后使用该变量尝试从中找到匹配值一个大的 txt 文件(~1.8MM 行)。它不起作用,我不确定为什么。

这是 source.csv 文件的一个片段:

DocNo,Title,DOI 
1,"Title One",10.1080/02724634.2016.1269539 
2,"Title Two",10.1002/2015ja021888 
3,"Title Three",10.1016/j.palaeo.2016.09.019 

这是 lookup.txt 文件的一个片段(请注意,它由 \t 分隔):

DOI 10.1016/j.palaeo.2016.09.019    M   First 
DOI 10.1016/j.radmeas.2015.12.002   M   First 
DOI 10.1097/SCS.0000000000002859    M   First 

这是有问题的代码:

import csv 
 
with open('source.csv', newline='', encoding = "ISO-8859-1") as f, open('lookup.txt', 'r') as i: 
    reader = csv.reader(f, dialect='excel') 
 
    counter = 0 
 
    for line in i: 
        for row in reader: 
            doi = row[2] 
            doi = str(doi) # I think this might actually be redundant... 
 
            if doi in line: 
                # This will eventually do more interesting things, but right now it's just a test 
                print(doi) 
                break 
            else: 
                # This will be removed--is also just a test (so I can watch progress) 
                print(counter) 
                counter += 1 

目前,当它运行时,它只计算行数,即使每个文件中都有一个匹配的 doi。

令人抓狂的是,当我给 doi 一个硬编码值时,它会按预期执行。这让我觉得要么 doi 中的斜线以某种方式破坏了东西,要么我需要转换 doi 变量的数据类型。

例如,这个有效:

doi = "10.1016/j.palaeo.2016.09.019"  
 
for line in i: 
    if doi in line: 
        print(doi) 
        break 
    else: 
        print(counter) 
        counter += 1 

在此先感谢您的帮助,我已经无计可施了!

请您参考如下方法:

你的问题是重复 for line in i: 不会在每个循环中从头开始,而是继续从你调用 break 时的位置开始最后一次。如果查找文件 i 中有任何行没有匹配项,您将有效地完整地遍历查找文件,然后对 for line in i: 的所有调用都会执行什么都没有(空循环)。

作为第一步,您可能希望将查找行保存在列表中。下一步可能是通过解析行将其变成查找字典。

下面是一个演示:

!cat 1.txt 
row1 
row2 
row3 
 
!cat 2.txt 
row A 
row B 
row C 
 
with open('1.txt', 'r') as i, open('2.txt', 'r') as j: 
    for irow in i: 
        print "irow", irow.strip() 
        for jrow in j: 
            print "jrow", jrow.strip() 
 
irow row1 
jrow row A 
jrow row B 
jrow row C 
irow row2 
irow row3