我正在做一个项目,我需要从文本中提取“输入”和“查询意图”。
例如“ Assets X26TH 的状态是什么?”
在这种情况下,主要问题是提取 Assets ID,即 X26TH,但如何让我的代码理解它是一个 ID?
另一件事是了解 Assets 状态的查询意图。我为此找到了一个很好的图书馆 quepy ,但它适用于 Linux,我无法在 Windows 上进行设置。
请在技术和库方面帮助我。
请您参考如下方法:
所以您有两个问题,ID 提取 和意图检测。
身份提取
如果您的 ID 遵循常规模式并且绝对不像英语,您可以使用正则表达式捕捉它们 - 如果可能的话,那很好,因为它很容易做到。如果您有固定的产品 ID 列表,只需检查输入中是否有任何产品 ID。如果这些都不起作用,那么您将不得不变得更加复杂。
你能让你的用户记住一些语法吗?如果您可以要求他们编写带有 id:X26TH 或类似前缀的内容,这将使您的工作更轻松。您可能会找到 plumber 的方式在 Plan9 中工作内容丰富。
如果您需要处理用户抛给您的任何问题,您应该考虑使用序列标记器 或命名实体识别 (NER) 系统来获取 ID。 CRF 可能很适合这项任务; here's很好的技术介绍,纽约时报also used one with success .除了设置起来比较棘手之外,它的一个缺点是它需要训练数据,但确实没有办法避免这种情况。
意图检测
这通常被建模为文本分类问题。您可以找到有关如何执行此操作的概述 here .以下是文章中的一些训练示例:
training_data.append({"class":"greeting", "sentence":"how are you?"})
training_data.append({"class":"greeting", "sentence":"how is your day?"})
training_data.append({"class":"greeting", "sentence":"good day"})
training_data.append({"class":"greeting", "sentence":"how is it going today?"})
training_data.append({"class":"goodbye", "sentence":"have a nice day"})
training_data.append({"class":"goodbye", "sentence":"see you later"})
training_data.append({"class":"goodbye", "sentence":"have a nice day"})
training_data.append({"class":"goodbye", "sentence":"talk to you soon"})
training_data.append({"class":"sandwich", "sentence":"make me a sandwich"})
training_data.append({"class":"sandwich", "sentence":"can you make a sandwich?"})
training_data.append({"class":"sandwich", "sentence":"having a sandwich today?"})
training_data.append({"class":"sandwich", "sentence":"what's for lunch?"})
