假设我有一篇文章想要学习。句子和段落的数量对于保持原样很重要(点触发句子结束,换行触发新段落开始)。假设我需要先标记我的文本:
>>> from nltk import word_tokenize as tokenize
>>> tokenize('How\'s life? Aren\'t you feeling good\n bro?')
['How', "'s", 'life', '?', 'Are', "n't", 'you', 'feeling', 'good', 'bro', '?']
如您所见,输出是一个列表,忽略了文字以外的任何信息。我可以尝试做类似的事情:
>>> s = ['How', "'s", 'life', '?', 'Are', "n't", 'you', 'feeling', 'good', 'bro', '?']
>>> " ".join(s)
"How 's life ? Are n't you feeling good bro ?"
但这还不够,因为段落结构已经丢失。使用 NLTK 的分词器是否有一种简单的方法可以做到这一点?我宁愿不求助于不同的库作为第一个解决方案。
请您参考如下方法:
您可能想要更改分词器。 nltk 中包含几个不同的。如果您想保留换行符的重要性,那么可以尝试使用一种面向行的标记器,或者考虑自己在换行符上拆分字符串并一次输入一个部分。这应该使您能够以某种方式将换行符混合回您的数据中。 (例如,您可能只跟踪每个换行符处标记化输出的 len()。)
