Skip to main content
 首页 » 编程设计

python之查找并删除文件中的重复行(最快最有效的方法)

2025年02月15日15zlslch

正如标题所说,我想查找并删除文件中的重复行。这很容易做到...关键是我想知道什么是最快和最有效的方法(假设您有数 GB 的文件并且您希望尽可能高效和快速地执行此操作你可以)

如果您知道某种方法……虽然很复杂,但我很想知道。我听到了循环展开之类的声音,并开始猜测最简单的事情是最快的,所以我很好奇。

请您参考如下方法:

最好的解决方案是保留一组到目前为止看到的行,并只返回不在其中的行。这种方式在python的collections实现中使用

def unique_lines(filename): 
   lines = open(filename).readlines() 
   seen = set() 
 
   for line in lines: 
       if line not in seen: 
           yield line 
           seen.add(line) 

然后

for unique_line in unique_lines(filename) 
    # do stuff 

当然,如果你不在意顺序,可以直接把整段文字转成一个集合,比如

set(open(filename).readlines())