如何将文档排列到一个空间(比如多个网格)中,以便放置它们的位置包含有关它们与其他文档的相似程度的信息。我查看了 K-means 聚类,但如果数据很大,它的计算量会有点大。我正在寻找类似对文档内容进行哈希处理的方法,以便它们可以适应较大的空间,并且相似的文档将具有相似的哈希值并且它们之间的距离会很小。在这种情况下,很容易找到与给定文档相似的文档,而不需要做很多额外的工作。
结果可能类似于下图。在这种情况下,音乐文件接近电影文件,但远离与计算机相关的文件。盒子可以看作是文档的整个世界。
如有任何帮助,我们将不胜感激。
谢谢
jvc007
请您参考如下方法:
在文档之间引入距离或相似性度量的一种方法是:
首先将您的文档编码为向量,例如使用 TF-IDF(参见 https://en.wikipedia.org/wiki/Tf%E2%80%93idf)
与两个文档相关的两个向量之间的标量积可以衡量文档的相似性。该值越大,相似度越高。
在这些相似点上使用 MDS ( http://en.wikipedia.org/wiki/Multidimensional_scaling) 应该有助于在二维图中可视化文档。
