我有一个 Python 字符串列表 例如:
['abc xyz def','efg jk','apple','def abc xyz', 'orange', 'jk efg']
我想从此列表中删除具有常用词的重复字符串。上面的输出应该是:
['abc xyz def','efg jk','apple','orange']
我发现 collections.Counter(a) == collections.Counter(b) 可以检测到这种重复,但是如何有效地完成上述任务?
请您参考如下方法:
toolz 提供了一个很好的解决方案图书馆。注意 toolz.unique 等同于 itertools 文档中的 unique_everseen 配方:
from toolz import compose, unique
L = ['abc xyz def','efg jk','apple','def abc xyz', 'orange', 'jk efg']
res = list(unique(L, key=compose(frozenset, str.split)))
# ['abc xyz def', 'efg jk', 'apple', 'orange']
native 不提供函数组合,但可以用 lambda x: frozenset(x.split()) 代替。 frozenset 或排序集合是必需的,因为 unique 需要可散列的键。如果单词的 count 也必须相同,则应使用排序集合。
