对于我正在工作的项目,我的任务是浏览一堆用户生成的文本,其中一些文本是取消其Internet服务的原因以及该原因发生的频率。可能是他们在移动,只是不喜欢它,或者服务不好等。
尽管这不一定是Python问题,但我想知道是否可以通过某种方式使用NLTK或Textblob确定取消的原因。我非常怀疑是否有任何自动化工具可以执行这样的专门任务,并且我意识到我可能必须构建一个神经网络,但是有关如何解决此问题的任何建议将不胜感激。
到目前为止,这是我一直在想的:
1)使用词干和分词,并整理最常用的单词。简单的方法,不那么准确。
2)n克。计算密集型,但可能会有所希望。
3)POS标记和分块,可能会找到诸如“因为”之类的连词。
4)手动浏览所有文本字段,并记下取消原因。效率不高,破坏了找到某种算法的整个目的。
5)NN,绝对不知道,我也不知道是否可行。
我真的很感谢对此的任何建议。
请您参考如下方法:
如果这个答案太笼统或您听不懂,请不要担心
东西-这是学术性的东西,需要一些基本的准备。
如有问题,请随时与我联系(询问我的邮件)
在评论或其他方面,我们会找出解决方案)。
我认为这个问题更适合CrossValidated。
无论如何,您需要做的第一件事就是创建一些训练集。您需要查找尽可能多的具有原因的文档并进行注释,并在标记短语中指定原因。文件越多越好。
如果您要使用用户报告-请使用示例报告,以便培训数据和真实数据将来自同一来源。
这就是您为处理建立某种语料库的方式。
然后,您必须指定所需的功能。这可能是POS标签,n-gram特征,引理/词干等。这需要实验和一些实践。在这里,我将使用一些n-gram功能(可能是2克或3克),也许还需要一些基于Wordnet的知识。
最后一步是构建块器或注释器。它是组成您的训练集,对其进行分析并了解其标记内容的组件。
您将遇到一种叫做“语义鸿沟”的东西-这个术语描述了您的程序“学习”了您不想要的东西时的情况(这是一种简化)。例如,您可以使用这样的一组功能,以便您的分块器将学习查找“我不”短语而不是原因短语。它实际上取决于您的训练集和功能集。
如果发生这种情况,您应该尝试更改功能集,然后过一段时间-尝试使用训练集,因为它可能没有代表性。
如何建立这样的块?对于您的情况,我将使用HMM(隐马尔可夫模型),或者甚至更好的是使用CRF(条件随机场)。这两种是通常用于流注释的统计方法,并且您的文本基本上是令牌流。另一种方法可能是使用任何“标准”分类器(从Naive Bayes到决策树,从NN到SVM),然后在文本的每个n-gram上使用它。
当然,选择功能集高度依赖于所选择的方法,因此请阅读一些有关它们并明智地选择。
PS。这是过于简单的答案,缺少培训集准备,选择功能,预处理语料库,为其寻找资料等许多重要内容。这不是演练-这些是您应该自己探索的基本步骤。
PPS。不确定,但是NLTK可能有一些CRF或HMM实现。如果没有,我可以为Markov建议scikit-learn,为CRF建议CRFP++。注意-后者功能强大,但是可以通过Java或python安装和使用。
==编辑==
简要介绍一下功能:
首先,我们可以想象哪些功能?
引理/词干-找到语料库中每个单词的词干或引理,选择最重要的词(通常那些词或词组的频率最高,或者至少从那里开始),然后将每个单词/ n-gram表示为二进制向量,说明词干/词法化后表示的单词或序列是否包含该词元/词干
n-grams-与上面类似,但是您选择了长度为n的最重要序列而不是单个单词。 “ n-gram”是指“长度为n的序列”,因此例如“我坐在长凳上”的二元组(2克)将是:“我坐在”,“坐在上面”,“在上面”,“长凳上”。
skipgrams-与n-gram类似,但在原始句子中包含“空白”。例如,“快速的棕色狐狸跳过某物”的间隙大小为3的biskipgrams(抱歉,我现在不记得这个短语:P)将是:[“ Quick”,“ over”],[“ brown”, “某物”]。通常,除非您有n个单词,否则间隙大小为m的n个跳过图是通过获取单词,跳过m,获取单词等获得的。
POS标签-我总是把它们与“位置”标签弄混,但这是“词性”的首字母缩写。当您需要查找具有共同语法结构而不是共同词的短语时,此功能很有用。
当然,您可以将它们组合在一起-例如,使用引理的跳过图或引理的POS标签,甚至可以使用引理的POS标签的* -grams(选择您最喜欢的:P)。
使用引理的POS标签会有什么意义?这将描述单词的基本形式的词性,因此会将特征简化为“这是一个名词”之类的事实,而不是“这是复数的女性名词”。
请记住,选择功能是整个过程中最重要的部分之一(另一个是数据准备,但这值得整个学期进行,功能选择可以在3-4个讲座中处理,因此我尝试将基础知识)。
在“寻找”块时,您需要某种直觉-例如,如果我想找到所有关于颜色的表达式,我可能会尝试使用2或3克单词,用二进制矢量表示,描述这种n- gram包含最流行的颜色名称和修饰符(例如“浅色”,“深色”等)和POS标签。即使您错过了某些颜色(例如“洋红色”),您也可以在文本中找到它们,只要您的方法(我将再次使用CRF,这对于这种任务来说是个很棒的工具)就可以将所学知识充分地概括。
