我使用 Gensim 的 doc2vec 为大型语料库创建了文档向量。
sentences=gensim.models.doc2vec.TaggedLineDocument('file.csv')
model = gensim.models.doc2vec.Doc2Vec(sentences,size = 10, window = 800, min_count = 1, workers=40, iter=10, dm=0)
现在我正在使用 Gensim 的 infer_vector() 使用这些文档向量为另一个样本语料库创建文档向量
例如:model.infer_vector('这是一个字符串')
有没有办法通过 infer_vector 传递整个 DataFrame 并获取 DataFrame 中每一行的输出向量?
请您参考如下方法:
Doc2Vec infer_vector() 仅采用单个文本示例,作为单词标记列表。所以你不能传入一批例子。 (而且,您不应该传递非标记化字符串——而是标记列表,以与预处理训练数据相同的方式进行预处理。)
但是,正如@COLDSPEED 评论所建议的那样,您也许可以使用为您多重应用 infer_vector() 的函数。不过,如果您想要有意义的结果,该列应该包含标记列表,而不是字符串。
此外,大多数用户发现 infer_vector() 对其 steps 参数使用非默认值(比其默认值 5 大得多)效果更好,也许更小其起始 alpha 参数的值(例如更像是 0.025 的训练默认值而不是 0.1 的推理默认值)。
