Skip to main content
 首页 » 编程设计

python之如何将 Gensim Doc2vec infer_vector() 用于大型 DataFrame

2025年01月19日11jpfss

我使用 Gensim 的 doc2vec 为大型语料库创建了文档向量。

sentences=gensim.models.doc2vec.TaggedLineDocument('file.csv')

model = gensim.models.doc2vec.Doc2Vec(sentences,size = 10, window = 800, min_count = 1, workers=40, iter=10, dm=0)

现在我正在使用 Gensim 的 infer_vector() 使用这些文档向量为另一个样本语料库创建文档向量

例如:model.infer_vector('这是一个字符串')

有没有办法通过 infer_vector 传递整个 DataFrame 并获取 DataFrame 中每一行的输出向量?

请您参考如下方法:

Doc2Vec infer_vector() 仅采用单个文本示例,作为单词标记列表。所以你不能传入一批例子。 (而且,您不应该传递非标记化字符串——而是标记列表,以与预处理训练数据相同的方式进行预处理。)

但是,正如@COLDSPEED 评论所建议的那样,您也许可以使用为您多重应用 infer_vector() 的函数。不过,如果您想要有意义的结果,该列应该包含标记列表,而不是字符串。

此外,大多数用户发现 infer_vector() 对其 steps 参数使用非默认值(比其默认值 5 大得多)效果更好,也许更小其起始 alpha 参数的值(例如更像是 0.025 的训练默认值而不是 0.1 的推理默认值)。