我正在使用 gensim 创建一个词袋模型,我想执行归一化。我找到了文档 ( https://radimrehurek.com/gensim/models/normmodel.html ),但我对如何根据我的代码实现它感到困惑。 Conversations 是一个标记化文档的列表,因此当每个元素都是一个文档时,本质上是一个列表列表。
id2word = corpora.Dictionary(conversations)
id2word.filter_extremes(keep_n=5000, keep_tokens=None)
corpus = [id2word.doc2bow(text) for text in conversations]
norm_corpus = NormModel(corpus)
我相信语料库是一个稀疏矩阵。对于每个文档,它都有非零频率项和相应的计数:[[(0, 2), (1, 5), (2, 4)...(92, 2), (93, 3) ],...].
norm_corpus 的最后一行在我尝试将其输入到以下内容时不起作用:models.LsiModel(norm_corpus, id2word=id2word, num_topics=12)。我收到类型错误消息,“int”对象不可迭代。但是,文档说要传入语料库,所以我很困惑。如果有任何帮助,我将不胜感激 - 谢谢!
请您参考如下方法:
目前我没有办法检查,但试试这个:
norm_corpus = NormModel()
norm_corpus.normalize(text)
或
norm_corpus.normalize(id2word.doc2bow(text)
在你的原始代码中你有
`NormModel(iterable)`
但是文档说你需要通过:
NormModel(iterable of iterable(int,number))
如果这是有道理的。
