我正在做一个在 python 中使用朴素贝叶斯分类器进行文档分类的项目。我已经使用了 nltk python 模块。这些文档来自路透社数据集。我执行了预处理步骤,例如词干提取和停用词消除,然后继续计算索引词的 tf-idf。我使用这些值来训练分类器,但准确度很差(53%)。我应该怎么做才能提高准确性?
请您参考如下方法:
可能有帮助的几点:
- 不要使用非索引字表,它会降低准确性(但要删除标点符号)
- 看词特征,只取前1000个为例。降低维度会大大提高您的准确性;
- 使用双字母组和单字母组 - 这会稍微提高准确性。
您可能还会发现替代加权技术,例如 log(1 + TF) * log(IDF) 可以提高准确性。祝你好运!
