Skip to main content
 首页 » 编程设计

python之准确解析antlr4中的n个参数

2025年05月04日7Free-Thinker

我将 Antlr4 与 python3 运行时一起使用。在我尝试解析的语言中,有许多操作(大约 50 个)接受固定数量的参数,格式为 OPNAME [parameter1, parameter2, parameter3 ]

我曾经有一个语法规则是这样的:

statement: OP1 '[' NUM ']' 
    | OP2 '[' NUM ',' NUM ']' 
    | OP3 '[' NUM ',' NUM ',' NUM ']' 
    | OP2or3 (('[' NUM ',' NUM ']')|('[' NUM ',' NUM ',' NUM ']')) 
    ; 

但是,为了更加清楚,我决定创建一个子规则 parameter[n] 来接受恰好 n 参数。因此,我的(完整示例)语法如下所示:

grammar test; 
 
program: (statement? NEWLINE)* EOF; 
 
statement: OP1 parameter[1] 
    | OP2 parameter[2] 
    | OP3 parameter[3] 
    | OP2or3 (parameter[2]|parameter[3]) 
    ; 
 
parameter[n] 
locals[i = 1] 
    : '[' NUM  
        ( ',' NUM {$i += 1} )* 
      ']'  
      {$i == $n}? 
    ; 
 
 
 
OP1     : 'OP1'     ; 
OP2     : 'OP2'     ; 
OP3     : 'OP3'     ; 
OP2or3  : 'OP2or3'  ; 
 
NUM     : ('0'..'9')+; 
NEWLINE : '\n'      ; 
WS      : [ \t\r] -> channel(1); 

在下面的 testfile.txt 上运行这个语法几乎可以工作。我测试了在 OP1、OP2 和 OP3 中有或多或少的参数,如果我没有恰好对应数量的参数,那就失败了。 但是,这对 OP2or3 不起作用,它总是对 3 个参数失败。我猜 antlr 解析器首先尝试检查 2 个参数,判断失败,然后无法正确回溯(错误消息是 Error at [5:16] : rule parameter failed predicate: {$i == $n}? )。 testfile.txt 的内容:

OP1 [1]  
OP2 [32, 52] 
OP3 [1, 2, 3] 
OP2or3 [1, 2] 
OP2or3 [1, 2, 3] 

我试图用入口处带有谓词的更明确的规则替换,但这仍然不起作用(错误消息是 Error at [5:7] : no viable alternative at input '[' )

parameter[n] 
    : {$n == 1}? '[' NUM ']' 
    | {$n == 2}? '[' NUM ',' NUM ']' 
    | {$n == 3}? '[' NUM ',' NUM ',' NUM ']' 
    ; 

有关信息,这是我用来测试语法的 python 代码:

import codecs 
from antlr4 import * 
from antlr4.error.ErrorListener import ErrorListener 
from testParser import testParser as Parser 
from testLexer import testLexer as Lexer 
 
class SimpleErrorThrower(ErrorListener): 
    def syntaxError(self, recognizer, offendingSymbol, line, column, msg, e): 
        msg = msg.replace('\n', '\\n') 
        raise RuntimeError("Error at [%s:%s] : %s" % (line, column, msg)) 
 
def load_code(filename): 
    return codecs.decode(open(filename, 'rb').read(), 'utf-8') 
 
def ParseFromRule(input_string, rule_to_call='program'): 
    '''Try to parse a given string (case insensitive) from a given rule. 
        Raises 'AttrivuteError' if rule does not exist. 
        Raises 'ParsingException' if parsing failed. 
        Returns the parse tree if parsing was successfull.''' 
    source = InputStream(input_string) 
    lexer = Lexer(source) 
    stream = CommonTokenStream(lexer) 
    parser = Parser(stream) 
    parser.removeErrorListeners() 
    parser.addErrorListener(SimpleErrorThrower()) 
    parseTree = getattr(parser, rule_to_call)() 
    return parseTree 
 
 
if __name__ == '__main__': 
    from argparse import ArgumentParser 
 
    args = ArgumentParser() 
    args.add_argument("-p", "--print", help="Print resulting tree.", action='store_true') 
    args.add_argument("filename", metavar="Source filename", help="file containing the code to test.", type=str) 
    options = args.parse_args() 
 
    input_string = load_code(options.filename) 
    try: 
        tree = ParseFromRule(input_string, 'program') 
    except RuntimeError as e: 
        print(str(e)) 
        exit(1) 
 
    if options.print: 
        print(tree.toStringTree(recog=tree.parser)) 

这是我的Makefile:

ANTLR_CP=/usr/local/bin/antlr-4.5.1-complete.jar 
ANTLR=java -Xmx500M -cp "$(ANTLR_CP):$$CLASSPATH" org.antlr.v4.Tool 
 
all: testParser.py 
 
clean: 
    rm -f *Lexer.py *Listener.py *Parser.py *.tokens *.pyc 
 
testParser.py: *.g4 
    $(ANTLR) -Dlanguage=Python3 test.g4 

你知道我是否可以制定一个规则 parameter[n] 也适用于 OP2or3 吗? 确实有那个子规则有助于清晰度,规则往往会经常更改(每隔几个月添加或删除一些运算符)

请您参考如下方法:

嗯,很抱歉打扰了任何看我问题的人,但我自己找到了答案,使用 python 魔法。也许有一天可以帮助某人。我修改了 parameter[n] 以将 int 或 tuple 作为输入:

parameter[n] 
locals[i = 1] 
    : '[' NUM 
        ( ',' NUM {$i += 1} )* 
      ']' 
      {($i == $n or $i in $n)}? 
    ; 

注意语义谓词中的括号。 You need to put thoses parentheses 因为它将在 python 解析器中被翻译为 not (i == n or i in n),没有括号就不会正确否定(我想这可以被视为 antlr4 错误。)

因此,现在我的声明规则是:

statement: OP1 parameter[1] 
    | OP2 parameter[2] 
    | OP3 parameter[3] 
    | OP2or3 parameter[(2, 3)] 
    ; 

这对我的测试文件有效:

$ python3 test_grammar.py testfile.txt -p 
(program (statement OP1 (parameter [ 1 ])) 
(statement OP2 (parameter [ 32 , 52 ])) 
(statement OP3 (parameter [ 1 , 2 , 3 ])) 
(statement OP2or3 (parameter [ 1 , 2 ])) 
(statement OP2or3 (parameter [ 1 , 2 , 3 ])) 
<EOF>)