问题?
给定输入句子:
你好,安德森先生。
默认的句子分词器(punkt 和 nltk 样本 pickle)将其转换为:
句子 1:Hello, Mr
句子 2:Anderson
当它真正应该保持原样时。
为什么很难找到现有的解决方案?
有通用的解决方案吗?这似乎是一个常见问题,甚至在 nltk python 教程书中也提到过。
句子分割很困难,因为句号用于标记缩写,有些句号同时标记缩写和终止句子,就像美国这样的首字母缩略词经常发生的情况
然而,我见过的所有解决方案要么基于手动输入缩写,例如 this one ;或者训练一个新的泡菜——因为我的搜索不会出现其他人训练过的泡菜(句子边界消歧的第一条规则……)。
手动构建英文缩写列表是一项艰巨的任务;而且我还没有在 nltk 中找到此类列表的任何明确文档。
我目前的方法:我正在尝试编写一个网络爬虫来使用 this列表。我讨厌它。该列表远非完整,我真正希望的最好的是扩展网络抓取程序以合并几个这样的列表。然后我将使用该列表来形成假设的缩写扩展,看看它们是否有意义......我在跟谁开玩笑?我可能会回去 sleep 。
请您参考如下方法:
你可以采取反动的、排他性的策略:任何至少有两个字母且不是合法单词的东西,后跟一个句点,必须是缩写。你的文本语料库允许这样做吗?缺点是拼写错误、其他拼写错误、无故使用 SMS、俚语或其他未被“官方”认可的词,以及缩写也是合法词的情况(例如“Ed.note”)。
如果您想要一个全面的解决方案……好吧,机器学习模型在您的应用程序中是否有用?给它提供示例,让它了解“古装”中的哪些项目 [是 |不是] 缩写,并将其合并到您选择的句子切片器中。
