Skip to main content
 首页 » 编程设计

python之使用 PyParsing 解析 Python 代码

2025年05月04日32rubylouvre

我正在尝试编写能够解析任何 Python 代码的 PyParsing 代码(我知道存在 AST 模块,但这只是一个起点——我最终想要解析的不仅仅是 Python 代码。)

无论如何,我想我会先写一些能够解析经典的东西

print("Hello World!") 

所以这是我写的:

from pyparsing import (alphanums, alphas, delimitedList, Forward, 
                       quotedString, removeQuotes, Suppress, Word) 
 
expr = Forward() 
string = quotedString.setParseAction(removeQuotes) 
call = expr + Suppress('(') + Optional(delimitedList(expr)) + Suppress(')') 
name = World(alphas + '_', alphanums + '_') 
expr <<= string | name | call 
 
test = 'print("Hello World!")' 
print(expr.parseString(test)) 

不过,当我这样做时,它只是吐出:

['print'] 

这在技术上是一个有效的 expr - 你可以将它输入到 REPL 中并且解析它没有问题,即使它没有用。

所以我想也许我想要的是在我的 expr 定义中翻转 name 和 call ,所以它更喜欢返回 调用给name,像这样:

expr <<= string | call | name 

现在我得到了最大递归深度超出错误。这也有道理:

  1. 检查它是否是一个expr。
    1. 检查它是否是一个字符串,如果不是。
    2. 检查它是否是一个调用。
      1. 它必须以expr开头,返回到外部列表的开头。

所以我的问题是...我如何定义 call 和 expr 这样我就不会以无限递归结束,但也不会看到名称就停止并忽略参数吗?

PyParsing 无法处理 Python 代码是否太复杂?如果没有,PyParsing 可以处理的内容是否有任何限制?

请您参考如下方法:

您的语法是递归的:expr 需要一个调用,而expr 需要一个调用。 .. 如果 PyParsing 无法处理左递归,您需要将语法更改为 PyParsing 可以使用的语法。

移除直接左递归的一种方法是更改​​语法规则,例如:

A = A b | c 

进入

A = c b* 

在您的情况下,左递归是间接:它不会发生在expr 中,而是发生在子规则(call)中:

E = C | s | n 
C = E x y z 

要移除间接左递归,您通常会将子规则的定义“提升”到主规则。不幸的是,这从语法中删除了有问题的子规则——换句话说,当您这样做时,您会失去一些结构表达能力。

前面的例子,去掉了间接递归,看起来像这样:

E = E x y z | s | n 

此时,你有了直接左递归,这样更容易转换。当你处理它时,结果将是这样的——在伪 EBNF 中:

E = (s | n) (x y z)* 

在您的情况下,Expr 的定义将变为:

Expr = (string | name) Args* 
Args = "(" ExprList? ")" 
ExprList = Expr ("," Expr)*