Skip to main content
 首页 » 编程设计

python之了解街道地址的 Pyparsing

2024年11月01日8cmt

在寻找构建更好的地址定位器以处理单个字段地址表的方法时,我遇到了 Pyparsing 模块。在 Examples 页面上有一个名为“streetAddressParser”(作者未知)的脚本,我在下面完整复制了它。虽然我已经阅读了文档并查看了 O'Reilly Recursive Decent Parser 教程,但我仍然对该地址解析器的代码感到困惑。我知道此解析器仅表示地址定位器应用程序的一个组件,但我的 Python 经验仅限于 GIS 脚本编写,我很难理解此代码的某些部分。

首先,将数字定义为“零一二三...十一十二十三...十二十三十...”的目的是什么?如果我们知道地址字段以表示街道号码的整数开头,为什么不将其提取为第一个标记?

其次,为什么这个脚本使用了这么多位运算符(^、|、~)?这是因为性能提升还是在 Pyparsing 模块中有不同的处理方式?是否可以使用其他运算符代替它们并产生相同的结果?

感谢您提供的任何指导,感谢您耐心阅读本文。 谢谢你!

from pyparsing import * 
 
# define number as a set of words 
units = oneOf("Zero One Two Three Four Five Six Seven Eight Nine Ten" 
          "Eleven Twelve Thirteen Fourteen Fifteen Sixteen Seventeen Eighteen Nineteen", 
          caseless=True) 
tens = oneOf("Ten Twenty Thirty Forty Fourty Fifty Sixty Seventy Eighty Ninety",caseless=True) 
hundred = CaselessLiteral("Hundred") 
thousand = CaselessLiteral("Thousand") 
OPT_DASH = Optional("-") 
numberword = ((( units + OPT_DASH + Optional(thousand) + OPT_DASH +  
                  Optional(units + OPT_DASH + hundred) + OPT_DASH +  
                  Optional(tens)) ^ tens )  
               + OPT_DASH + Optional(units) ) 
 
# number can be any of the forms 123, 21B, 222-A or 23 1/2 
housenumber = originalTextFor( numberword | Combine(Word(nums) +  
                    Optional(OPT_DASH + oneOf(list(alphas))+FollowedBy(White()))) +  
                    Optional(OPT_DASH + "1/2") 
                    ) 
numberSuffix = oneOf("st th nd rd").setName("numberSuffix") 
streetnumber = originalTextFor( Word(nums) +  
                 Optional(OPT_DASH + "1/2") + 
                 Optional(numberSuffix) ) 
 
# just a basic word of alpha characters, Maple, Main, etc. 
name = ~numberSuffix + Word(alphas) 
 
# types of streets - extend as desired 
type_ = Combine( MatchFirst(map(Keyword,"Street St Boulevard Blvd Lane Ln Road Rd Avenue Ave " 
                        "Circle Cir Cove Cv Drive Dr Parkway Pkwy Court Ct Square Sq" 
                        "Loop Lp".split())) + Optional(".").suppress()) 
 
# street name  
nsew = Combine(oneOf("N S E W North South East West NW NE SW SE") + Optional(".")) 
streetName = (Combine( Optional(nsew) + streetnumber +  
                        Optional("1/2") +  
                        Optional(numberSuffix), joinString=" ", adjacent=False ) 
                ^ Combine(~numberSuffix + OneOrMore(~type_ + Combine(Word(alphas) + Optional("."))), joinString=" ", adjacent=False)  
                ^ Combine("Avenue" + Word(alphas), joinString=" ", adjacent=False)).setName("streetName") 
 
# PO Box handling 
acronym = lambda s : Regex(r"\.?\s*".join(s)+r"\.?") 
poBoxRef = ((acronym("PO") | acronym("APO") | acronym("AFP")) +  
             Optional(CaselessLiteral("BOX"))) + Word(alphanums)("boxnumber") 
 
# basic street address 
streetReference = streetName.setResultsName("name") + Optional(type_).setResultsName("type") 
direct = housenumber.setResultsName("number") + streetReference 
intersection = ( streetReference.setResultsName("crossStreet") +  
                 ( '@' | Keyword("and",caseless=True)) + 
                 streetReference.setResultsName("street") ) 
streetAddress = ( poBoxRef("street") 
                  ^ direct.setResultsName("street") 
                  ^ streetReference.setResultsName("street") 
                  ^ intersection ) 
 
tests = """\ 
    3120 De la Cruz Boulevard 
    100 South Street 
    123 Main 
    221B Baker Street 
    10 Downing St 
    1600 Pennsylvania Ave 
    33 1/2 W 42nd St. 
    454 N 38 1/2 
    21A Deer Run Drive 
    256K Memory Lane 
    12-1/2 Lincoln 
    23N W Loop South 
    23 N W Loop South 
    25 Main St 
    2500 14th St 
    12 Bennet Pkwy 
    Pearl St 
    Bennet Rd and Main St 
    19th St 
    1500 Deer Creek Lane 
    186 Avenue A 
    2081 N Webb Rd 
    2081 N. Webb Rd 
    1515 West 22nd Street 
    2029 Stierlin Court 
    P.O. Box 33170 
    The Landmark @ One Market, Suite 200 
    One Market, Suite 200 
    One Market 
    One Union Square 
    One Union Square, Apt 22-C 
    """.split("\n") 
 
# how to add Apt, Suite, etc. 
suiteRef = ( 
            oneOf("Suite Ste Apt Apartment Room Rm #", caseless=True) +  
            Optional(".") +  
            Word(alphanums+'-')("suitenumber")) 
streetAddress = streetAddress + Optional(Suppress(',') + suiteRef("suite")) 
 
for t in map(str.strip,tests): 
    if t: 
        #~ print "1234567890"*3 
        print t 
        addr = streetAddress.parseString(t, parseAll=True) 
        #~ # use this version for testing 
        #~ addr = streetAddress.parseString(t) 
        print "Number:", addr.street.number 
        print "Street:", addr.street.name 
        print "Type:", addr.street.type 
        if addr.street.boxnumber: 
            print "Box:", addr.street.boxnumber 
        print addr.dump() 
        print 

请您参考如下方法:

  1. 在一些地址中,主要号码拼写为单词,正如您在他们测试中的一些地址中看到的那样,靠近列表末尾。您的声明“如果我们知道地址字段以表示街道号码的整数开头...”是一个大“如果”。很多很多地址都不以数字开头。

  2. 按位运算符可能用于设置标志以将标记分类为具有某些属性。为了设置位/标志,位运算符非常高效和方便。

看到一个解析器尝试在没有 using a regular expression 的情况下解析街道地址,真是令人耳目一新。 ... 另见 this page about some of the challenges of parsing freeform addresses .

但是,值得注意的是,这个解析器看起来会遗漏各种各样的地址。它似乎没有考虑犹他州、威斯康星州和农村地区常见的一些特殊地址格式。它还缺少大量的辅助指示符和街道后缀。