Skip to main content
 首页 » 编程设计

python : How to optimize comparison between two large sets

2025年05月04日10bluestorm

我向你致敬!我是新来的,在尝试优化这部分代码时遇到了一些小问题。

我正在读取两个文件:

Corpus.txt -----> 包含我的文本(1.000.000 字)

Stop_words.txt -----> 包含我的停止列表(4000 个单词)

我必须将语料库中的每个词与停止列表中的每个词进行比较,因为我想要一个没有停止词的文本,所以我: 使用以下代码进行 1.000.000*4000 次比较:

fich= open("Corpus.txt", "r") 
text = fich.readlines() 
 
fich1= open("stop_words.txt", "r") 
stop = fich1.read() 
 
tokens_stop = nltk.wordpunct_tokenize(stop) 
tokens_stop=sorted(set(tokens_stop)) 
 
for line in text : 
    tokens_rm = nltk.wordpunct_tokenize(line) 
    z = [val for val in tokens_rm if val not in tokens_stop] 
    for i in z: 
        print i 

我的问题是:有什么不同的做法吗?有什么结构可以优化吗?

请您参考如下方法:

您可以创建一组停用词,然后针对文本中的每个词查看它是否在该组中。

实际上看起来你已经在使用一套了。虽然我不知道你为什么要排序它。