Skip to main content
 首页 » 编程设计

python之无法从特定语法的 pyparsing 中获得预期结果

2024年10月25日11TianFang

我有一个要解析的二进制有线协议(protocol)配置文件。这用于允许低带宽链路两侧的计算机就哪些位代表哪些数据达成一致,允许用户在现场配置它们。

配置文件字符串如下所示:

abc:16 => 标识符 abc 有 16 位

abc:16 def:12 => 标识符 abc 有 16 位,标识符 def 有 12 位

abc:16:p => 标识符 abc 有 16 位和一个奇偶校验位

abc:16:ecc => 标识符 abc 有 16 位和 2 位用于 ecc

我已经到了我认为应该正确解析的语法的地步,但我遇到了一个奇怪的问题:我只能有一个没有奇偶校验或 ecc 的标识符作为一行的最后一个语句。语法应该支持在行中的任何位置使用带有或不带有奇偶校验的标识符,但无论出于何种原因都不会发生这种情况。

所以:
abc:16
本身就可以,因为它后面没有任何内容

abc:16:p def:12
可以,因为 abc:16:p 最后有一个奇偶校验

abc:16 def:12
不行,因为 abc:16 没有奇偶校验而且它不在最后,但这应该没问题

abc:16 def:12:p
also 也不行,因为非奇偶校验语句没有在最后,但这也应该是完全可以的

程序如下:

from pyparsing import * 
import re 
 
abbr = Word(alphas, min=3, max=4) 
#abbr = abbr.setDebug() 
 
separator = Suppress(Literal(":")) 
bits = Word(nums, min=1, max=2) 
parity = Or([CaselessLiteral("P"), CaselessLiteral("ECC")]) 
 
bits_part = separator + bits 
#bits_part = bits_part.setDebug() 
 
parity_part = separator + parity 
#parity_part = parity_part.setDebug() 
 
statement = abbr + bits_part + Optional(parity_part) 
#statement = statement.setDebug() 
 
statement_list = StringStart() + statement + ZeroOrMore(Suppress(White()) + statement) + Optional(Suppress(White())) + StringEnd() 
 
tests = (  
    "abc:16", 
    "abc:15:p",  
    "abc:15:p def:14:ecc", 
    "abc:17:p def:q ghi:21:", #this one should fail since "q" isn't parity and you shouldn't have a trailing colon with no parity after it 
    "abc:16:p def:12", #this passes so it's OK to have a trailing statement without parity 
    "abc:15 def:12:p", #this fails but shouldn't 
    "abc:16:p def:12 pqr:11", #this is also failing because anything but the last statement missing parity causes failure, but I don't think that's the right behavior 
) 
 
for t in tests: 
    try: 
        print t 
        print statement_list.parseString(t) 
    except Exception as e: 
        print e 

当我在没有打开调试的情况下运行它时,我看到了以下结果。根据我的理解(和上面的评论)只有第三个例子应该失败,因为它有“q”,而“p”应该是奇偶校验。其他一切都应该通过,但由于我不明白的原因引发了异常。

abc:16 
['abc', '16'] 
abc:15:p 
['abc', '15', 'P'] 
abc:15:p def:14:ecc 
['abc', '15', 'P', 'def', '14', 'ECC'] 
abc:17:p def:q ghi:21: 
Expected end of text (at char 9), (line:1, col:10) 
abc:16:p def:12 
['abc', '16', 'P', 'def', '12'] 
abc:15 def:12:p 
Expected end of text (at char 7), (line:1, col:8) 
abc:16:p def:12 pqr:11 
Expected end of text (at char 16), (line:1, col:17) 

当我打开调试时(在上面的示例代码中都被注释掉了),我只看“abc:16 def:12”,这是输出:

abc:15 def:12:p 
Match {W:(abcd...) {Suppress:(":") W:(0123...)} [{Suppress:(":") {'P' ^ 'ECC'}}]} at loc 0(1,1) 
Match W:(abcd...) at loc 0(1,1) 
Matched W:(abcd...) -> ['abc'] 
Match {Suppress:(":") W:(0123...)} at loc 3(1,4) 
Matched {Suppress:(":") W:(0123...)} -> ['15'] 
Match {Suppress:(":") {'P' ^ 'ECC'}} at loc 7(1,8) 
Exception raised:Expected ":" (at char 7), (line:1, col:8) 
Matched {W:(abcd...) {Suppress:(":") W:(0123...)} [{Suppress:(":") {'P' ^ 'ECC'}}]} -> ['abc', '15'] 
Expected end of text (at char 7), (line:1, col:8) 

在我看来,这证实了它正在尝试匹配 parity_part,而 parity_part 显然不存在。但是我已经设置好了,所以 parity_part 是 Optional() 所以我不明白为什么它坚持要找到它。

此外,那里有一个空白字符(在 abc:16 和 def:12 之间),我觉得应该触发它继续前进,这是我在语法的 statement_list 部分指定的方式。为此,我还在最后添加了对练习器的“leaveWhitespace()”调用:

print statement_list.parseString(t).leaveWhitespace() 

但这并没有改变任何东西(因为它没有按照我期望的方式开始解析)所以我不认为问题是它缺少空格。我当然不能完全打折。

我在这里感到非常困惑,因为我已经从我能想到的各个角度解决了这个问题,但我仍然没有得到我期望的结果。我指定的语法错误吗? pyparsing 做错了什么吗?我非常有信心我在某个地方犯了错误,但我真的看不到它。

编辑:

所以 Paul 指出我到处都是一堆愚蠢的空白,当他把所有这些都扔掉并简化时,一切都很好。空格的东西是故意放在那里的,因为我要尝试阻止人们做类似的事情:

“abc:10:ecc”

因为它看起来很糟糕,而不是因为它没有包含正确的信息。

我不确定阻止人们在我认为不应该放置的地方放置空格对我来说是否值得,所以 Paul 的回答可能足以让我继续我的生活。

但是我还是很好奇为什么我做的版本不行,而他修改的可以。它们在功能上看起来与我相同。

请您参考如下方法:

您确实知道 pyparsing 会自动跳过空格,是吗?

我通过将 statement_list 定义为普通的来让它工作:

statement_list = OneOrMore(statement) 

为了防止多个语句一起运行,您应该使用 Group:

statement_list = OneOrMore(Group(statement)) 

不要添加您自己的 StringEnd 来强制解析器尝试处理完整的字符串,而是使用 parseAll=True:

print statement_list.parseString(t, parseAll=True)