Skip to main content
 首页 » 编程设计

python之标签的 LDA (gensim)

2025年05月04日18dflying

我使用 Gensim 包进行主题建模。这个想法是为了了解 flickr 标签中的主题是什么。 到目前为止,我正在使用这段代码(文档是标签):

    texts = [[word for word in document.split(";") if word not in stoplist] for document in documents] 
    dictionary = corpora.Dictionary(texts) 
    corpus = [dictionary.doc2bow(text) for text in texts] 
    lda = ldamodel.LdaModel(corpus, id2word=dictionary, alpha = 0.1, num_topics=10) 
    topic = [] 
    for f in lda.print_topics(num_topics=4, num_words=10): 
        topic_number = f[0] 
        keywords = f[1] 
        keywords = keywords.split(" + ") 
        keywords_update = {} 
        for ii in keywords: 
            ii = str(ii) 
            keyword = ii[6:] 
            probab = ii[0:5] 
            probab = float(probab) 
            if probab > 0.02: 
                keywords_update.update({keyword:probab}) 
        topic.append(keywords_update) 
    print topic 

所以基本上我在所有文档上训练 LDA,然后为每个主题打印 10 个最可能的词。这是对的吗?或者我是否必须在文档的某些部分训练数据,然后使用 corpus_lda = lda[corpus] 以便将经过训练的模型应用于看不见的文档? 如果每次运行模型的结果都不一样,是不是题目的数量不对?评估结果的最佳方式是什么?

请您参考如下方法:

每次查询模型时,未见文档的概率分布都会发生变化,因为模型中的分类器对 statistical inference 使用了贝叶斯定理的变体。 . Gensim 为您完成了从每个主题中获取 HitTest 门单词的大部分工作。

这将返回 topic_id: {word: probability} 的字典,其中包含模型中每个主题的前 10 个单词。

topn_words = {i: {word: prob for word, prob in lda.show_topic(i, topn=10)} for i in range(0, lda.num_topics)} 

当您使用 lda[unseen_document] 时,它会返回一个概率分布向量,它是模型中主题数量的大小,其中每个值都是文档适合主题的概率对应于向量的索引。

一旦你有了一组未见过文档的概率分布向量,你就可以计算它们之间的相似性。 Gensim 内置了余弦相似度。

bow = dictionary.doc2bow(tokenize(text)) 
vec_1 = lda[bow] 
bow = dictionary.doc2bow(tokenize(text)) 
vec_2 = lda[bow] 
gensim.matutils.cossim(vec_1, vec_2) 

在此示例中,tokenize 是一个组合函数,您可以在其中使用内置的 Gensim simple_preprocess() 方法或以其他方式修剪和标记文本。 dictionary.doc2bow() 方法需要一个单词列表并输出一袋单词或元组列表(word_id,频率)。