Skip to main content
 首页 » 编程设计

python之如何从列表中删除与同一列表中的其他字符串具有相同单词集(顺序困惑)的字符串

2024年12月31日27zhenyulu

我有一个 Python 字符串列表 例如:

['abc xyz def','efg jk','apple','def abc xyz', 'orange', 'jk efg'] 

我想从此列表中删除具有常用词的重复字符串。上面的输出应该是:

['abc xyz def','efg jk','apple','orange'] 

我发现 collections.Counter(a) == collections.Counter(b) 可以检测到这种重复,但是如何有效地完成上述任务?

请您参考如下方法:

toolz 提供了一个很好的解决方案图书馆。注意 toolz.unique 等同于 itertools 文档中的 unique_everseen 配方:

from toolz import compose, unique 
 
L = ['abc xyz def','efg jk','apple','def abc xyz', 'orange', 'jk efg'] 
 
res = list(unique(L, key=compose(frozenset, str.split))) 
 
# ['abc xyz def', 'efg jk', 'apple', 'orange'] 

native 不提供函数组合,但可以用 lambda x: frozenset(x.split()) 代替。 frozenset 或排序集合是必需的,因为 unique 需要可散列的键。如果单词的 count 也必须相同,则应使用排序集合。