Skip to main content
 首页 » 编程设计

python之从短文本中提取关键词并进行排名

2024年11月24日7cyq1162

我正在从事一个从短文本(3-4 句话)中提取关键词的项目。我使用 spaCy 库提取名词短语和 NER,并将它们用作关键字。但是,我想根据它们对原文的重要性对它们进行排序。

我尝试了标准的信息检索方法,例如 tfidf,甚至尝试了一些基于图形的算法,但文本如此短,结果并不是很好。

我在想也许使用具有注意力机制的神经网络可以帮助我对这些关键字进行排名。有什么方法可以使用 spaCy 附带的预训练模型进行某种排名吗?

请您参考如下方法:

诸如最大边际相关性之类的东西怎么样? http://www.cs.cmu.edu/~jgc/publication/The_Use_MMR_Diversity_Based_LTMIR_1998.pdf