Skip to main content
 首页 » 编程设计

python之根据内容相似性在网格中排列文档

2025年05月04日19dyllove98

如何将文档排列到一个空间(比如多个网格)中,以便放置它们的位置包含有关它们与其他文档的相似程度的信息。我查看了 K-means 聚类,但如果数据很大,它的计算量会有点大。我正在寻找类似对文档内容进行哈希处理的方法,以便它们可以适应较大的空间,并且相似的文档将具有相似的哈希值并且它们之间的距离会很小。在这种情况下,很容易找到与给定文档相似的文档,而不需要做很多额外的工作。

结果可能类似于下图。在这种情况下,音乐文件接近电影文件,但远离与计算机相关的文件。盒子可以看作是文档的整个世界。

如有任何帮助,我们将不胜感激。

谢谢

jvc007

请您参考如下方法:

在文档之间引入距离或相似性度量的一种方法是:

  • 首先将您的文档编码为向量,例如使用 TF-IDF(参见 https://en.wikipedia.org/wiki/Tf%E2%80%93idf)

  • 与两个文档相关的两个向量之间的标量积可以衡量文档的相似性。该值越大,相似度越高。

在这些相似点上使用 MDS ( http://en.wikipedia.org/wiki/Multidimensional_scaling) 应该有助于在二维图中可视化文档。