我想根据语义相似性对单词进行聚类。目前我有一个文件列表,其中包含检测到的名词短语。我想从文档中获得的这些名词进行聚类,并在无人监督的情况下对它们进行语义聚类?
我看过 wordnet 和 gensim 库。关于哪些可以真正帮助根据语义相似性获得所需的词簇,有什么建议吗?
请您参考如下方法:
对于基于短语共现的相似性(在文档中更频繁一起出现的短语将更相似),您可以使用 gensim。
查看那里的潜在语义分析和潜在狄利克雷分配:http://radimrehurek.com/gensim/tut2.html#available-transformations
根据您希望集群执行的具体操作,您可以直接将 LSI/LDA 主题用作集群。或者对得到的隐含短语向量等进行聚类。
