我正在尝试识别文本中的概念。我经常认为,当两个或多个单词彼此相对接近时,一个概念就会出现在文本中。 例如,一个概念可以是任何一个词 森林,树,自然 在距离小于 4 个字的地方 着火、燃烧、过热
我正在学习 spacy,到目前为止我可以像这样使用匹配器:
import spacy
from spacy.matcher import Matcher
nlp = spacy.load("en_core_web_sm")
matcher = Matcher(nlp.vocab)
matcher.add("HelloWorld", None, [{"LOWER": "hello"}, {"IS_PUNCT": True}, {"LOWER": "world"}],[{"LOWER": "hello"}, {"LOWER": "world"}])
这将匹配 hello world 和 hello, world(或者上面提到的例子中的 tree firing)
我正在寻找一种解决方案,可以在 5 个单词的窗口内生成单词 Hello 和 World 的匹配项。
我查看了: https://spacy.io/usage/rule-based-matching
和那里描述的运算符,但我无法将这种词窗口方法放入“spacy”语法中。
此外,我也无法将其推广到更多单词。
一些想法? 谢谢
请您参考如下方法:
对于具有 K 个单词的窗口,其中 K 相对较小,您可以在单词之间添加 K-2 个可选的通配符标记。 通配符 表示“任何符号”,在 Spacy 术语中它只是一个空字典。 可选 表示 token 可能存在也可能不存在,并且在 Spacy 中被编码为 {"OP": "?"。
因此,您可以将匹配器编写为
import spacy
from spacy.matcher import Matcher
nlp = spacy.load("en_core_web_sm")
matcher = Matcher(nlp.vocab)
matcher.add("HelloWorld", None, [{"LOWER": "hello"}, {"OP": "?"}, {"OP": "?"}, {"OP": "?"}, {"LOWER": "world"}])
这意味着您要查找“hello”,然后是 0 到 3 个任何类型的标记,然后是“world”。例如,对于
doc = nlp(u"Hello brave new world")
for match_id, start, end in matcher(doc):
string_id = nlp.vocab.strings[match_id]
span = doc[start:end]
print(match_id, string_id, start, end, span.text)
它会打印你
15578876784678163569 HelloWorld 0 4 Hello brave new world
如果您还想匹配其他顺序(世界???你好),您需要将第二个对称模式添加到您的匹配器中。
