Skip to main content
 首页 » 编程设计

python之如何从 spacy 中的转录中表示未知/空白词

2024年11月24日6daizhj

我正在处理音频抄本中的文本,其中有一些未知词。每个未知词都有标记(例如“他不认识商店”)。我正在寻找表示“未知”词的最佳方式,以便将 spacy 的句子依赖解析搞得一团糟。

什么是最好的替代品来增加 spacy 的句子依赖解析器在最广泛的句子范围内工作最好的可能性?是空格/' ' 或 '___' 或 '...' 还是无关紧要?\发生的时间/地点没有结构。

谢谢!

请您参考如下方法:

如果单词是未知的,最好简单地删除它们并截断多余的空间。如果未知词/标记不包含在 spacy 词汇表中,它们无论如何都会搞乱依赖解析,用特殊字符替换它们也是如此。

He / to the store 

输出:

He ROOT 
/ punct 
to prep 
the det 
store pobj 

然而,

He to the store 

输出:

He ROOT 
to prep 
the det 
store pobj 

如果你删除它们,那么基本上你会得到一个对转录的其余部分正确的依赖解析。