Skip to main content
 首页 » 编程设计

python之删除与另一个 CSV 中的行相同的行

2025年05月04日13虾米哥

我正在尝试遍历 2 个 CSV 文件的每一行。如果两个文件中的纬度和经度字段相同,我想丢弃这一行。

我试过以下方法

import numpy 
f=numpy.genfromtxt('/wind/addandclaimwithinlatlon.csv', delimiter=',',  
                   dtype=None, skiprows=0) 
f1=numpy.genfromtxt('/wind/new_2011.csv',delimiter=",",dtype=None,skiprows=0) 
final=[] 
for row in f: 
    for row1 in f1: 
        if row[1]==row1[0] and row[2]==row1[1]: 
            print "duplicates" 
        else: 
            final.append([row[0],row[1],row[2]]) 
 
numpy.savetxt('/wind/addclaimwithinlatlonwithout2011.csv', 
               final, delimiter=',', fmt='%s')   

它不会失败,但它只是运行了很长时间并且没有产生任何输出。它有什么问题?有没有其他方法可以更快地做到这一点?

请您参考如下方法:

由于您的文件已成功加载,看来问题出在您的代码上。

因此,您可以使用 itertools.zip_longest(在 python 2.X izip_longest 中)来压缩您的文件,然后使用列表理解来代替多重索引和嵌套循环保留预期的行。

from itertools import zip_longest 
import numpy 
f=numpy.genfromtxt('/wind/addandclaimwithinlatlon.csv',delimiter=",",dtype=None,skiprows=0) 
f1=numpy.genfromtxt('/wind/new_2011.csv',delimiter=",",dtype=None,skiprows=0) 
final=[row for row,row1 in zip_longest(f,f1) if len(row)>3 and len(row1)>1 and row[1:3]!=row1[:2]] 

请注意,您可以使用一个切片来代替多个索引来比较 row[1],row[2] 和 row1[0],row[1]。