Skip to main content
 首页 » 编程设计

python之为什么 & 在 Python NLTK 中标记为 "&"

2024年12月31日10txw1958

当尝试在 Python3 中使用来自 NLTK 的 Toktok 单词分词器时

string='&& Test & and L&R ' 
from nltk.tokenize.toktok import ToktokTokenizer 
ToktokTokenizer().tokenize(string) 

我得到以下输出:

['&&', 'Test', '&', 'and', 'L&R'] 

看起来它以一种奇怪的方式转义了 &。 我使用的是 NLTK 3.3 版和 Python 3.6.4。

猜猜为什么会发生这种情况以及解决它的有效方法? 我知道我可以用

[tok.replace("&","&") for tok in tokenized_sentence] 

但这似乎是一个肮脏的黑客。我想知道是否有一种方法可以不以第一种方式产生这种效果。

请您参考如下方法:

正如@snakecharmerb 为 & 所提到的,源代码指出:

# Replace problematic character with numeric character reference. 

解决该问题的一种方法是覆盖 ToktokTokenizer 实例上的字段,例如:

import re 
 
from nltk.tokenize.toktok import ToktokTokenizer 
 
string = '&& Test & and L&R ' 
 
tokenizer = ToktokTokenizer() 
tokenizer.AMPERCENT = re.compile('& '), '& ' 
tokenizer.TOKTOK_REGEXES = [(regex, sub) if sub != '& ' else (re.compile('& '), '& ') for (regex, sub) in 
                            ToktokTokenizer.TOKTOK_REGEXES] 
 
result = tokenizer.tokenize(string) 
print(result) 

输出

['&&', 'Test', '&', 'and', 'L&R']