我正在研究 NLP,学习使用 NLTK 和 scikit-learn 进行文本分类。所以我在 NLTK 的 movie_review 语料库上实现了 Unigram presence 作为一个特征。现在,我正在尝试实现一篇研究论文,其中他们使用了多项功能:
1. N-Gram Features : Unigram : Presence and Count, Bigram : Presence and Count
2. Stylistic Features : POS_Noun, POS_Adverb, POS_Adjective : Ratios No. of spelling errors : Real-valued feature Length of text : Real-valued feature
由于到目前为止我只实现了一个特征函数,所以我现在遇到了问题。我可以分别为上述所有功能实现功能,例如:
def find_POS_Noun_feature(document) :使用 POS_Noun 作为特征对文本进行分类 def find_Length_of_text_feature(document) :使用#characters 作为我的特征等。然后我可以分别训练多个分类器。
但我需要的是如何将所有这些功能集成到一个分类器中?
请帮忙,我在互联网上搜索但找不到合适的解释。
请您参考如下方法:
无论来源或类型如何,都将所有特征放在一个字典中。只需确保特征名称不同,这样您就不会丢失任何 key 。
如果您已经有单独的函数返回具有不同类型特征的字典,您可以像这样合并结果:
all_features = find_unigram_features(document)
all_features.update(find_bigram_features(document))
all_features.update(find_POS_Noun_feature(document))
etc.
如果您有任何返回单个值(不是 dict)的函数,您将以通常的方式更新字典。
all_features["doc_length"] = find_Length_of_text_feature(document)
您训练的特征函数将是合并所有这些特征并返回组合字典的函数。
