Skip to main content
 首页 » 编程设计

python之使用 NLP 进行查询 [PYTHON]

2025年02月15日7webabcd

我正在做一个项目,我需要从文本中提取“输入”和“查询意图”。

例如“ Assets X26TH 的状态是什么?”

在这种情况下,主要问题是提取 Assets ID,即 X26TH,但如何让我的代码理解它是一个 ID?

另一件事是了解 Assets 状态的查询意图。我为此找到了一个很好的图书馆 quepy ,但它适用于 Linux,我无法在 Windows 上进行设置。

请在技术和库方面帮助我。

请您参考如下方法:

所以您有两个问题,ID 提取 和意图检测。


身份提取

如果您的 ID 遵循常规模式并且绝对不像英语,您可以使用正则表达式捕捉它们 - 如果可能的话,那很好,因为它很容易做到。如果您有固定的产品 ID 列表,只需检查输入中是否有任何产品 ID。如果这些都不起作用,那么您将不得不变得更加复杂。

你能让你的用户记住一些语法吗?如果您可以要求他们编写带有 id:X26TH 或类似前缀的内容,这将使您的工作更轻松。您可能会找到 plumber 的方式在 Plan9 中工作内容丰富。

如果您需要处理用户抛给您的任何问题,您应该考虑使用序列标记器 或命名实体识别 (NER) 系统来获取 ID。 CRF 可能很适合这项任务; here's很好的技术介绍,纽约时报also used one with success .除了设置起来比较棘手之外,它的一个缺点是它需要训练数据,但确实没有办法避免这种情况。


意图检测

这通常被建模为文本分类问题。您可以找到有关如何执行此操作的概述 here .以下是文章中的一些训练示例:

training_data.append({"class":"greeting", "sentence":"how are you?"}) 
training_data.append({"class":"greeting", "sentence":"how is your day?"}) 
training_data.append({"class":"greeting", "sentence":"good day"}) 
training_data.append({"class":"greeting", "sentence":"how is it going today?"}) 
 
training_data.append({"class":"goodbye", "sentence":"have a nice day"}) 
training_data.append({"class":"goodbye", "sentence":"see you later"}) 
training_data.append({"class":"goodbye", "sentence":"have a nice day"}) 
training_data.append({"class":"goodbye", "sentence":"talk to you soon"}) 
 
training_data.append({"class":"sandwich", "sentence":"make me a sandwich"}) 
training_data.append({"class":"sandwich", "sentence":"can you make a sandwich?"}) 
training_data.append({"class":"sandwich", "sentence":"having a sandwich today?"}) 
training_data.append({"class":"sandwich", "sentence":"what's for lunch?"})