4. SML解析器设计原则：词法分析、语法分析、抽象语法树构建、解析器架构模式

SML（SECS Message Language）是描述SECS/GEM消息结构的领域特定语言。一个健壮的SML解析器是构建SECS/GEM通信栈的基石。本章将深入解析SML解析器的核心设计原则，从词法分析到抽象语法树构建，并探讨主流的解析器架构模式。

4.1 词法分析（Lexical Analysis）

词法分析是解析的第一阶段，其任务是将原始的SML字符流转换为有意义的词法单元（）序列。词法分析器（Lexer）会忽略空白字符和注释，并识别出关键字、标识符、字面量和符号。

4.1.1 SML词法单元分类

4.1.2 词法分析器设计要点

• 最大匹配原则： 当遇到 < 时，优先尝试匹配 <= 或 << 等多字符运算符，失败后再回退为单字符。
• 状态机驱动： 使用有限状态自动机（FSA）处理字符串字面量中的转义字符和嵌套注释。
• 位置追踪： 每个都应记录其在源文件中的行号和列号，便于后续语法错误定位。

import re

# 定义模式（简化版）
_patterns = [
    (r'L|B|A|I[1248]|U[1248]|F[48]|BOOLEAN', 'TYPE'),
    (r'[A-Za-z_][A-Za-z0-9_]*', 'IDENTIFIER'),
    (r'<|>|\[|\]|\(|\)', 'DELIMITER'),
    (r'"[^"]*"', 'STRING_LITERAL'),
    (r'\d+\.?\d*', 'NUMERIC_LITERAL'),
    (r'//[^\n]*', 'COMMENT'),
    (r'\s+', None),  # 忽略空白
]

def lex_sml(source_code):
    tokens = []
    pos = 0
    while pos < len(source_code):
        for pattern, _type in _patterns:
            match = re.match(pattern, source_code[pos:])
            if match:
                if _type:
                    tokens.append((_type, match.group(), pos))
                pos += match.end()
                break
        else:
            raise SyntaxError(f"Unexpected character at position {pos}")
    return tokens

4.2 语法分析（Syntax Analysis）

语法分析器（Parser）接收词法分析器产生的序列，根据SML的上下文无关文法（CFG）构建语法分析树（Parse Tree）。SML的语法相对简单，主要处理嵌套的Item结构和消息定义。

4.2.1 SML文法规则（EBNF形式）

sml_file     = { message_definition } ;
message_def  = identifier "=" message_body ";" ;
message_body = "<" item_list ">" ;
item_list    = item { item } ;
item         = type_specifier "<" item_list ">"
             | type_specifier "[" value "]"
             | type_specifier "(" value ")" ;
type_specifier = "L" | "B" | "A" | "I1" | "I2" | "I4" | "I8"
               | "U1" | "U2" | "U4" | "U8" | "F4" | "F8" | "BOOLEAN" ;

4.2.2 解析策略选择

4.3 抽象语法树构建（AST Construction）

抽象语法树（AST）是语法分析树的简化版本，去除了仅用于语法分析的非终结符（如分隔符、括号），只保留对语义分析有意义的节点。AST是后续代码生成（消息编码/解码）和语义分析的基础。

4.3.1 AST节点设计

4.3.2 从Parse Tree到AST的转换

在递归下降解析过程中，可以直接构建AST，无需显式构建Parse Tree。每个解析函数返回对应的AST节点。

class SMLParser:
    def parse_message(self):
        # 解析 "S1F1 = <L ...>;"
        msg_id = self.consume('IDENTIFIER')
        self.consume('EQUALS')
        body = self.parse_item_list()
        self.consume('SEMICOLON')
        return MessageNode(id=msg_id, body=body)
    
    def parse_item_list(self):
        self.consume('LT')
        items = []
        while self.peek() != 'GT':
            items.append(self.parse_item())
        self.consume('GT')
        if len(items) == 1:
            return items[0]  # 单Item时直接返回
        return ItemNode(type='L', children=items)  # 多Item时包装为List

4.4 解析器架构模式

在实际工程中，SML解析器通常采用分层或管道架构模式，以提升可维护性、可测试性和扩展性。

4.4.1 经典管道模式（Pipeline Pattern）

将解析过程分解为多个独立的处理阶段，每个阶段只负责一个特定的转换，阶段之间通过明确定义的数据结构通信。

4.4.2 访问者模式（Visitor Pattern）

在AST构建完成后，通常需要对其进行多种遍历操作（如打印、类型检查、代码生成）。访问者模式允许在不修改AST节点类的前提下，定义新的操作。

class ASTVisitor:
    def visit(self, node):
        method_name = f'visit_{type(node).__name__}'
        visitor = getattr(self, method_name, self.generic_visit)
        return visitor(node)
    
    def generic_visit(self, node):
        for child in node.get_children():
            self.visit(child)

class TypeCheckVisitor(ASTVisitor):
    def visit_LeafNode(self, node):
        # 检查叶子节点的值是否在类型范围内
        if node.type == 'I1' and not (-128 <= node.value <= 127):
            raise TypeError(f"Value {node.value} out of range for I1")
        return True

4.4.3 错误恢复策略

• 恐慌模式（Panic Mode）： 遇到错误时，丢弃直到找到同步标记（如 ; 或 >），然后继续解析。
• 短语级恢复（Phrase-Level Recovery）： 在局部进行小范围修正，如插入缺失的 > 或删除多余的。
• 错误产生式（Error Productions）： 在文法中添加专门处理常见错误的产生式，如 item = error "<" item_list ">"。

4.5 设计原则总结

遵循上述设计原则，你将构建出一个健壮、可维护且易于扩展的SML解析器，为后续的SECS/GEM消息编解码和事务处理打下坚实基础。