Skip to main content
 首页 » 编程设计

python之NLTK之标记后加入专有名词

2025年01月19日8虾米哥

我有一个句子,我首先标记化然后使用 nltk 标记:

sentence = 'Ronald McDonald exercised at the Central Park on Monday.' 
 
tokens = nltk.word_tokenize(sentence) 
print(tokens) 
 
tagged = nltk.pos_tag(tokens) 
print(tagged) 

使用 nltk.pos_tag,Ronald、McDonald、Central、Park 和 Monday 成为专有名词 (NNP) - 这是正确的。我现在把句子的所有专有名词都写在另一个变量中,因为我以后要用到它们。

propernouns = [word for word,pos in tagged if pos == 'NNP'] 
print(propernouns) 

现在,在我 95% 的情况下,文本中紧跟在后面的任意数量的专有名词确实属于一起。 “罗纳德麦当劳”就像“中央公园”一样。

问题:我如何更改“代词”中的代码,它迭代“标记”,提取所有 NPP 并将它们写入变量,就像现在一样 - 但是当它找到 2 或更多 (<NNP>+)紧接着彼此,它们被写成一个由空格分隔的字符串。

请您参考如下方法:

使用 itertools.groupby 将具有相同 NNP 标签的连续词组分组:

from itertools import groupby 
groups = groupby(tagged, key=lambda x: x[1]) # Group by tags 
names = [[w for w,_ in words] for tag,words in groups if tag=="NNP"] 
#[['Ronald', 'McDonald'], ['Central', 'Park'], ['Monday']] 
names = [" ".join(name) for name in names if len(name)>=2]  
#['Ronald McDonald', 'Central Park']