Skip to main content
 首页 » 编程设计

python之与 Python 中包含空格的术语一起使用的标记化

2024年10月25日12hnrainll

我在 Python 中使用正则表达式标记文本的标准方法是:

> text = "Los Angeles is in California" 
> tokens = re.findall(r'\w+', text) 
> tokens 
['Los','Angeles','is','in','California'] 

如果我想在上面的文本中找到名字 Los Angeles 就会出现问题。

在大海捞针中找到包含空白的针的最佳方法是什么?

我问的是一个一般性问题,因为该解决方案也适用于 United States of America 和不包含空格的针。

例如,一个简单的 if "Los Angeles"in text(匹配)不会执行,因为 if "for"in text 也会返回一个匹配项。但我只是在寻找完整的单词(匹配 for 而不是 California)。

请您参考如下方法:

我建议使用像 NLTK 这样的文本解析器对于这样的任务。

但对于这种情况,您可以使用以下正则表达式:

>>> re.findall(r'\b([A-Z]\w+ [A-Z]\w+)|(\w+)\b',text) 
[('Los Angeles', ''), ('', 'is'), ('', 'in'), ('', 'California')] 

正则表达式 r'([A-Z]\w+ [A-Z]\w+)|(\w+)' 将匹配 2 组,第一个是一对单词,其元素包含大写单词!第二个将匹配一个词!