Skip to main content
 首页 » 编程设计

python之测试句子是否包含较小的句子

2025年05月04日10lori

所以我有 1 亿个句子,对于每个句子,我想看看它是否包含 6000 个较小的句子中的一个(仅匹配整个单词)。到目前为止我的代码是

smaller_sentences = [...] 
for large_sentence in file: 
    for small_sentence in smaller_sentences: 
        if ((' ' + small_sentence + ' ') in large_sentence) 
                or (large_sentence.startswith(small_sentence + ' ') 
                or (large_sentence.endswith(' ' + small_sentence): 
            outfile.write(large_sentence) 
            break 

但是这段代码运行得非常慢。您知道执行此操作的更快方法吗?

请您参考如下方法:

在不知道更多关于领域(单词/句子长度)、读/写/查询频率和算法细节的情况下。

但是,首先你可以改变你的条件。

这会检查整个字符串(慢),然后是头部(快),然后是尾部(快)。

((' ' + small_sentence + ' ') in large_sentence) 
        or (large_sentence.startswith(small_sentence + ' ') 
        or (large_sentence.endswith(' ' + small_sentence): 

这会检查头部,然后是尾部(快速),然后是头部(快速),然后是整个字符串。从 Big-O 的角度来看,这并不是一个巨大的颠簸,但如果您知道琴弦更有可能出现在开始或结束时,它可能会增加一些速度。

(large_sentence.startswith(small_sentence + ' ') 
        or (large_sentence.endswith(' ' + small_sentence) 
        or ((' ' + small_sentence + ' ') in large_sentence)