Skip to main content
 首页 » 编程设计

python之自定义标注器 NLTK 3

2025年04月02日16birdshome

我正在使用 nltk 的默认标记器来获取单词的 POS 标记,但我没有得到预期的结果:

>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want a watch")) 
[('I', 'PRP'), ('want', 'VBP'), ('a', 'DT'), ('watch', 'NN')] 
>>> nltk.pos_tag(nltk.tokenize.word_tokenize("Lets watch a movie")) 
[('Lets', 'NNS'), ('watch', 'VBP'), ('a', 'DT'), ('movie', 'NN')] 

正如您在上面看到的,pos_tag 函数正确地标记了单词 watch。但在下面的情况下:

>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want to read a book")) 
[('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('read', 'VB'), ('a', 'DT'), ('book', 'NN')] 
 
>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want to book a ticket")) 
[('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('book', 'NN'), ('a', 'DT'), ('ticket', 'NN')] 

它错误地预测了单词 book 的标签。 我知道我们可以构建一个自定义标注器,但我不希望只为一个词从头开始构建一个标注器。我希望提高单词 book 标记器的准确性。我提到了这个answer但最新版本似乎没有 nltk.tag._POS_TAGGER 方法。

是否有任何可能的解决方法?

请您参考如下方法:

NLTK pos_tag 使用 PerceptronTagger默认情况下。但是您可以使用其他标记器,它们已经在各自的数据集上接受过训练。

在下面的例子中,treebank pos tagger被使用:

import nltk 
 
tagger = nltk.data.load('taggers/maxent_treebank_pos_tagger/english.pickle') 
t = tagger.tag(nltk.tokenize.word_tokenize("I want to book a ticket")) 
print(t) 
# [('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('book', 'VB'), ('a', 'DT'), ('ticket', 'NN')] 
#                                                         ^^ rightly tagged as verb 

如果您仍然没有得到想要的结果,您可以更换标记器。

人们还可以在语料库上评估标注器以了解预期的准确性:

>>> corpus = nltk.corpus.treebank.tagged_sents() 
>>> tagger.evaluate(corpus) 
0.9956891414041082