Skip to main content
 首页 » 编程设计

python之spacy 标记化撇号

2024年11月24日13kerrycode

我正在尝试正确拆分单词以适合我的语料库。我已经在使用 this approach它修复了带连字符的单词,我似乎无法弄清楚的是如何使用撇号来保留缩略词,例如:can't, won't, don't, he's 等. 作为 spacy 中的一个标记。

更具体地说,我正在搜索如何针对荷兰语单词执行此操作:zo'n、auto's、massa's 等,但这个问题应该与语言无关。

我有以下分词器:

def custom_tokenizer(nlp): 
    prefix_re = compile_prefix_regex(nlp.Defaults.prefixes) 
    suffix_re = compile_suffix_regex(nlp.Defaults.suffixes) 
    infix_re = re.compile(r'''[.\,\?\:\;\...\‘\’\'\`\“\”\"\'~]''') 
 
    return Tokenizer(nlp.vocab, prefix_search=prefix_re.search, 
                     suffix_search=suffix_re.search, 
                     infix_finditer=infix_re.finditer, 
                     token_match=None) 
nlp = spacy.load('nl_core_news_sm') 
nlp.tokenizer = custom_tokenizer(nlp) 

我得到的 token 是:

'Mijn','eigen','huis','staat','zo',"'",'n','zes','meter','onder', 'het','wateroppervlak','van','de','Noordzee','.'

...但我期望的 token 应该是:

'Mijn','eigen','huis','staat',"zo'n",'zes','meter','onder','het','wateroppervlak ','van','de','Noordzee','.'

我知道可以添加自定义规则,例如:

case = [{ORTH: "zo"}, {ORTH: "'n", LEMMA: "een"}] 
tokenizer.add_special_case("zo'n",case) 

但我正在寻找更通用的解决方案。

我试过从另一个线程编辑 infix_re 正则表达式,但我似乎对这个问题没有任何影响。我可以做任何设置或更改来解决这个问题吗?

请您参考如下方法:

最近在 spaCy 中有一项正在进行的工作,用于修复荷兰语的这些类型的词汇形式。今天的合并请求中有更多信息:https://github.com/explosion/spaCy/pull/3409

更具体地说,nl/punctuation.py ( https://github.com/explosion/spaCy/pull/3409/files#diff-84f02ed25ff9e44641672ca0ba5c1839 ) 展示了如何通过改变后缀来解决这个问题: