Skip to main content
 首页 » 编程设计

python之如何从原始文本中解析名称

2024年10月25日8yxwkf

我想知道是否有人知道任何好的库或从原始文本解析名称的方法。

例如,假设我有这些作为例子:(注意有时它们是大写的元组,有时不是)

James Vaynerchuck and the rest of the group will be meeting at 1PM.  
Sally Johnson, Jim White and brad burton.  
Mark angleman Happiness, Productivity & blocks. Mark & Evan at 4pm. 

我的第一个想法是加载某种词性标记器(如 Python 的 NLTK),标记所有单词。然后只去掉名词,然后将名词与已知单词的数据库(即文字词典)进行比较,如果它们不在词典中,则假设它们是一个名字。

其他想法是深入研究机器学习,但这可能超出了我在这里需要的范围。

如果您能向我指出任何想法、建议或库,都会非常有帮助。

谢谢!

请您参考如下方法:

我不知道为什么你认为你需要 NLTK 来排除字典中的单词;一个简单的词典(您可能已经安装在 /usr/share/dict/words 之类的地方,或者您可以从互联网上下载一个)就足够了:

with open('/usr/share/dict/words') as f: 
    dictwords = {word.strip() for word in f} 
with open(mypath) as f: 
    names = [word for line in f for word in line.rstrip().split() 
             if word.lower() not in dictwords] 

您的 words 列表可能包含名称,但如果是这样,它将包含大写的名称,因此:

    dictwords = {word.strip() for word in f if word.islower()} 

或者,如果您想将专有名称列入白名单而不是将字典单词列入黑名单:

with open('/usr/share/dict/propernames') as f: 
    namewords = {word.strip() for word in f} 
with open(mypath) as f: 
    names = [word for line in f for word in line.rstrip().split() 
             if word.title() in namewords] 

但这真的行不通。从您的示例中查看“Jim White”。他的姓氏显然会出现在任何字典中,而他的名字会出现在很多字典中(如“jimmy”的缩写,作为阿拉伯字母“jīm”的常见罗马化等)。 “马克”也是一个常见的字典词。反过来说,“Will”是一个很常见的名字,即使你想把它当作一个词来对待,而“Happiness”是一个不常见的名字,但至少有少数人拥有它。

因此,为了使这项工作哪怕是一点点,您可能需要结合多种启发式方法。首先,不是一个词总是一个名字或者永远不是一个名字,每个词都有可能在一些相关的语料库中被用作名字——White 可能是 13.7% 的名字,Mark 41.3%,Jim 99.1% , Happiness 0.1%, 等等 接下来,如果不是句子的第一个词,而是大写的,那么它很可能是一个名字(多多少?我不知道,你需要测试和调整对于您的特定输入),如果它是小写字母,则它不太可能是一个名字。您可以引入更多上下文 - 例如,您有很多全名,因此如果某个东西可能是名字,并且它出现在某个常见姓氏的旁边,那么它更有可能是名字。你甚至可以尝试解析语法(如果你放弃某些句子也没关系;它们只是不会从语法规则中得到任何输入),所以如果两个相邻的单词只作为句子的一部分,如果第二个是一个动词,它们可能不是名字和姓氏,即使相同的第二个词在其他上下文中可能是名词(和名称)。等等。