正如标题所说,我想查找并删除文件中的重复行。这很容易做到...关键是我想知道什么是最快和最有效的方法(假设您有数 GB 的文件并且您希望尽可能高效和快速地执行此操作你可以)
如果您知道某种方法……虽然很复杂,但我很想知道。我听到了循环展开之类的声音,并开始猜测最简单的事情是最快的,所以我很好奇。
请您参考如下方法:
最好的解决方案是保留一组到目前为止看到的行,并只返回不在其中的行。这种方式在python的collections实现中使用
def unique_lines(filename):
lines = open(filename).readlines()
seen = set()
for line in lines:
if line not in seen:
yield line
seen.add(line)
然后
for unique_line in unique_lines(filename)
# do stuff
当然,如果你不在意顺序,可以直接把整段文字转成一个集合,比如
set(open(filename).readlines())
