3、A2L文件词法分析：从原始文本到Token流
好，咱们进入第三章。上一章我们把A2L文件的整体骨架摸了一遍，知道了它是个结构化的文本文件。但计算机读文本，跟人读文本完全是两码事。人眼一扫，看到 /begin MEASUREMENT 就知道“哦，这里开始定义一个测量量”。计算机呢？它看到的只是一串字符流，跟看天书差不多。
所以，我们需要一个“翻译官”，把原始文本转换成计算机能理解的结构化数据。这个翻译过程的第一步，就是词法分析。说白了，就是把一整段话，拆成一个个有意义的“单词”，也就是Token。
核心概念：词法分析（Lexical Analysis）的任务，就是将输入的字符序列，按照预定义的规则（关键字、运算符、分隔符等），切分成一个接一个的Token流。Token是语法分析的最小单元。
3.1 A2L文件的关键字与语法规则
A2L文件虽然看起来自由，但它有自己的一套“语法”。这套语法定义了哪些词是关键字，哪些符号是分隔符，以及数据该怎么组织。
关键字（Keywords）：这些是A2L语言的保留字，有特殊含义。比如 /begin 和 /end 用来定义块结构，MEASUREMENT、CHARACTERISTIC、AXIS_PTS 这些是块类型关键字。我个人习惯，把这些关键字分成两类：
- 结构关键字：
/begin、/end，它们控制着文件的层次结构。 - 类型关键字：
MEASUREMENT、CHARACTERISTIC、MODULE、ECU等，它们定义了数据对象的类型。
分隔符（Delimiters）：A2L文件主要用空格、制表符（Tab）、换行符来分隔不同的Token。另外，双引号 " " 用来包裹字符串，比如 "My_Measurement"。括号 ( ) 用来包裹参数列表。
注释（Comments）：A2L支持两种注释，跟C语言很像。解析的时候，注释内容是要被忽略掉的。
| 注释类型 | 语法 | 示例 |
|---|---|---|
| 单行注释 | // |
// 这是一个测量量定义 |
| 多行注释 | /* ... */ |
/* 这是多行注释，可以跨行 */ |
我的经验： 我在项目中遇到过一些“不干净”的A2L文件，注释里混着奇怪的字符，或者字符串里包含了未转义的双引号。所以，写词法分析器的时候，注释和字符串的处理一定要小心，它们是Bug的高发区。
3.2 使用正则表达式进行初步分词
正则表达式（Regular Expression）是处理文本的瑞士军刀。用它来做A2L文件的初步分词，非常合适。我们不需要一开始就写一个完整的编译器，只需要定义几个正则模式，就能把文本拆成Token。
我一般会定义以下几个核心的正则模式：
- 关键字模式：匹配
/begin、/end以及所有块类型关键字。 - 标识符模式：匹配变量名、函数名等。A2L的标识符通常由字母、数字、下划线组成，且不能以数字开头。
- 数字模式：匹配整数和浮点数，包括十六进制数（如
0x1234）。 - 字符串模式：匹配双引号括起来的字符串。
- 注释模式：匹配单行和多行注释，匹配后直接丢弃。
- 分隔符模式：匹配空格、换行等空白字符，匹配后也丢弃。
下面是一个用Python写的简单示例，展示了如何用正则表达式进行分词：
import re
# 定义Token类型
TOKEN_TYPES = [
('COMMENT', r'//[^\n]*|/\*.*?\*/'), # 注释
('KEYWORD', r'/begin|/end|MEASUREMENT|CHARACTERISTIC|MODULE|ECU'), # 关键字
('STRING', r'"[^"]*"'), # 字符串
('NUMBER', r'0x[0-9a-fA-F]+|\d+\.?\d*'), # 数字（十六进制和十进制）
('IDENTIFIER', r'[a-zA-Z_][a-zA-Z0-9_]*'), # 标识符
('DELIMITER', r'[(){};]'), # 分隔符
('WHITESPACE', r'\s+'), # 空白（丢弃）
]
def tokenize(code):
tokens = []
pos = 0
while pos < len(code):
match = None
for token_type, pattern in TOKEN_TYPES:
regex = re.compile(pattern, re.DOTALL)
match = regex.match(code, pos)
if match:
if token_type != 'WHITESPACE' and token_type != 'COMMENT':
tokens.append((token_type, match.group()))
pos = match.end()
break
if not match:
raise SyntaxError(f'在位置 {pos} 发现非法字符: {code[pos]}')
return tokens
# 测试
a2l_snippet = '/begin MEASUREMENT "MyMeas" 0x1234 /* 注释 */ /end'
tokens = tokenize(a2l_snippet)
for t in tokens:
print(t)
注意： 正则表达式的顺序很重要。比如，关键字模式要放在标识符模式之前，否则 /begin 会被错误地识别为标识符。另外，注释和空白模式要放在前面，这样它们会被优先匹配并丢弃，不会干扰后续的Token识别。
3.3 构建Token流
分词的结果，就是得到一个有序的Token列表，我们称之为Token流。这个Token流是后续语法分析的输入。
每个Token通常包含两个部分：Token类型 和 Token值。Token类型告诉语法分析器“这是个什么东西”，Token值则保存了具体的文本内容。
举个例子，对于下面这行A2L代码：
/begin MEASUREMENT "EngineSpeed" 0x1234经过词法分析后，生成的Token流应该是这样的：
| Token类型 | Token值 |
|---|---|
| KEYWORD | /begin |
| KEYWORD | MEASUREMENT |
| STRING | "EngineSpeed" |
| NUMBER | 0x1234 |
你想想看，有了这个Token流，语法分析器就可以轻松地识别出：“哦，这是一个 /begin 关键字，后面跟着一个 MEASUREMENT 类型的块，块的名字是 EngineSpeed，地址是 0x1234。” 是不是清晰多了？
下面这张图，展示了从原始A2L文件到Token流的完整流程：
避坑指南： 我曾经在解析一个大型A2L文件时，发现Token流里莫名其妙多了一个空字符串。查了半天，原来是文件末尾有一个多余的空行，而我的正则没有正确处理文件结尾的空白。所以，记得在分词循环结束后，检查一下是否还有未处理的空白字符。
构建Token流时，还有一个重要的点：错误处理。如果遇到无法匹配的字符，应该立即报错，并给出明确的位置信息。这能帮你快速定位A2L文件中的语法错误。我一般会抛出一个包含行号和列号的异常，这样调试起来方便很多。
好了，这一章的内容就是这些。词法分析是整个解析流程的基石，虽然看起来简单，但细节很多。把这一步做扎实了，后面的语法分析就会顺畅很多。