Skip to main content
 首页 » 编程设计

python之检查 CSV 中每一行的条件

2025年04月02日14lyj

假设我有一个这样的示例 csv 文件:

phonemes,graphemes 
W IY K D EY,w ee k d ay 
T EH K S T,t e x _ t 
Y UW,ewe _ 
SH UW T,chu te 
SH UW T,chu te 
SH UW T,chu te ! 
SX AH K,s u ck 

我想检查每一行的特定条件。当我尝试遍历每一行时,当一行的元素满足条件时,我想将计数器加 1 并继续检查下一行,而不是检查该特定行中的所有元素。

我相信这类似于惰性求值?但我想不出一种方法来完成这项任务。

我的评估代码:

for p, g in reader: 
        phonemes = p.split() 
        graphemes = g.split() 
        if (len(phonemes) == len(graphemes) and 
            all(p in valid_pset for p in phonemes) and 
            all(g in valid_gset for g in graphemes)): 
 
            valid_row += 1 
            p_count += len(phonemes) 
            g_count += len(graphemes) 
        else: 
            invalid_row += 1 

因此,使用这段代码,它将评估一行中的每个元素,并且每次它满足我的要求 my valid_row或 invalid_row将增加 1。

这不是我打算做的... 我想知道有没有一种方法可以让我简单地评估、递增并转到下一行以继续执行相同的操作直到文件结束?

编辑:在检查它是否有效时,我需要该行中的所有元素来满足正确的要求。实现该目标的简洁方法是什么(通过检查一行中的所有字符是否有效,将有效计数器增加 1 )

编辑:我想当我遇到无效字符时我可以增加计数器并从内部循环中断并到达下一行然后重新进入循环?或者有什么更快的方法吗?

编辑:

AA AE AH AO AW AY B CH D DH EH ER EY F G HH IH IY JH K L M N NG OW OY P R S SH T TH UH UW V W Y Z ZH

这是一个包含所有有效音素的文本文件。(我已经将其添加到 valid_pset 中)

有效的字素是这样的:(添加到 valid_pset)

valid_graphemes =  
{'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p',  
 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '_'}) 

因此,例如在检查示例文件时。无效行应为 4 但是我的代码没有这样做。

编辑:看来我可能找到了一种方法来做到这一点。但让我无法获得正确答案的最后一件事是,我如何检查文本文件中一行中的每个元素?更具体地说:

对于 ee我想检查这个“单词”中的两个“e”是否在 valid_set 中。意思是只要两个单一的“e”都在集合中那么ee应该是有效的。有什么帮助吗?

请您参考如下方法:

编辑 我根据您对 OP 所做的更改修改了代码:

我运行了这段代码,它似乎有效。它给了我一个有效的行,并附有解释:

import csv 
 
valid_pset = set(""" 
    AA AE AH AO AW AY B CH D DH EH ER EY F G HH IH IY 
    JH K L M N NG OW OY P R S SH T TH UH UW V W Y Z ZH 
    """.strip().split()) 
valid_gset = set("abcdefghijklmnopqrstuvwxyz_") 
 
valid_row = 0 
invalid_row = 0 
p_count = 0 
g_count = 0 
 
with open('test.csv','r') as f: 
    reader = csv.reader(f) 
    # Skip headers 
    next(reader) 
    try: 
        line = 1 
        for p,g in reader: 
            phonemes = p.split() 
            graphemes = g.split() 
            line += 1 
 
            valid = True 
            if len(phonemes) != len(graphemes): 
                print("Line {}: Number of phonemes and graphemes differ.".format(line)) 
                valid = False 
 
            bad_p = [p for p in phonemes if p not in valid_pset] 
            if bad_p: 
                print("Line {}: Invalid phonemes {}".format(line, bad_p)) 
                valid = False 
 
            graphemes = list(''.join(graphemes)) 
            bad_g = [g for g in graphemes if g not in valid_gset] 
            if bad_g: 
                print("Line {}: Invalid graphemes {}".format(line, bad_g)) 
                valid = False 
 
            if valid: 
                valid_row += 1 
                p_count += len(phonemes) 
                g_count += len(graphemes) 
            else: 
                invalid_row += 1 
    except ValueError: 
        pass 
 
print("Valid rows: {}, Invalid rows: {}, p_count: {}, g_count: {}".format( 
    valid_row, invalid_row, p_count, g_count)) 

这是我得到的输出:

$ python test.py 
Line 5: Number of phonemes and graphemes differ. 
Line 6: Number of phonemes and graphemes differ. 
Line 7: Invalid graphemes ['!'] 
Line 8: Invalid phonemes ['SX'] 
Valid rows: 3, Invalid rows: 4, p_count: 12, g_count: 16