我在 Pandas 中有两列:A 和 B,每列都包含术语字符串。我的目标是在 B 列中找到与 A 列最相似的条目。我已经在使用 TF-IDF 来执行此操作,但有时存在不明显匹配的同义词,例如货币和货币。
如何找到还包含同义词的匹配项?
请您参考如下方法:
如果您处理的是单个单词对,我不确定 TF-IDF 在这里有何用处。
无论如何,有两个明显的解决方案。
使用传统知识库,我会推荐Wordnet对于此用例,它被广泛认为是行业标准。
第二种选择是使用机器学习算法 Word2Vec(或类似 Glove 的变体)。如果您使用已经像 Google News 这样训练过的模型,我会说这是最简单的解决方案。一。查看Gensim's implementation加载模型并计算相似度。
