所以我有 1 亿个句子,对于每个句子,我想看看它是否包含 6000 个较小的句子中的一个(仅匹配整个单词)。到目前为止我的代码是
smaller_sentences = [...]
for large_sentence in file:
for small_sentence in smaller_sentences:
if ((' ' + small_sentence + ' ') in large_sentence)
or (large_sentence.startswith(small_sentence + ' ')
or (large_sentence.endswith(' ' + small_sentence):
outfile.write(large_sentence)
break
但是这段代码运行得非常慢。您知道执行此操作的更快方法吗?
请您参考如下方法:
在不知道更多关于领域(单词/句子长度)、读/写/查询频率和算法细节的情况下。
但是,首先你可以改变你的条件。
这会检查整个字符串(慢),然后是头部(快),然后是尾部(快)。
((' ' + small_sentence + ' ') in large_sentence)
or (large_sentence.startswith(small_sentence + ' ')
or (large_sentence.endswith(' ' + small_sentence):
这会检查头部,然后是尾部(快速),然后是头部(快速),然后是整个字符串。从 Big-O 的角度来看,这并不是一个巨大的颠簸,但如果您知道琴弦更有可能出现在开始或结束时,它可能会增加一些速度。
(large_sentence.startswith(small_sentence + ' ')
or (large_sentence.endswith(' ' + small_sentence)
or ((' ' + small_sentence + ' ') in large_sentence)
