当尝试在 Python3 中使用来自 NLTK 的 Toktok 单词分词器时
string='&& Test & and L&R '
from nltk.tokenize.toktok import ToktokTokenizer
ToktokTokenizer().tokenize(string)
我得到以下输出:
['&&', 'Test', '&', 'and', 'L&R']
看起来它以一种奇怪的方式转义了 &。 我使用的是 NLTK 3.3 版和 Python 3.6.4。
猜猜为什么会发生这种情况以及解决它的有效方法? 我知道我可以用
[tok.replace("&","&") for tok in tokenized_sentence]
但这似乎是一个肮脏的黑客。我想知道是否有一种方法可以不以第一种方式产生这种效果。
请您参考如下方法:
正如@snakecharmerb 为 & 所提到的,源代码指出:
# Replace problematic character with numeric character reference.
解决该问题的一种方法是覆盖 ToktokTokenizer 实例上的字段,例如:
import re
from nltk.tokenize.toktok import ToktokTokenizer
string = '&& Test & and L&R '
tokenizer = ToktokTokenizer()
tokenizer.AMPERCENT = re.compile('& '), '& '
tokenizer.TOKTOK_REGEXES = [(regex, sub) if sub != '& ' else (re.compile('& '), '& ') for (regex, sub) in
ToktokTokenizer.TOKTOK_REGEXES]
result = tokenizer.tokenize(string)
print(result)
输出
['&&', 'Test', '&', 'and', 'L&R']
