4. SQL解析基础：词法分析、语法分析、抽象语法树（AST）的概念与作用
在构建数据血缘分析系统时，SQL解析是第一步，也是最关键的一步。只有将原始的SQL文本转化为计算机可理解的结构化表示，才能进一步追踪字段的来龙去脉。本章将深入解析SQL解析的三个核心阶段：词法分析、语法分析与抽象语法树（AST），并阐明它们在血缘追踪中的实际作用。
4.1 为什么需要SQL解析？
SQL本质上是一种字符串。对于数据库引擎而言，它需要理解字符串的含义才能执行；对于血缘分析工具而言，它需要理解字符串的结构才能提取字段间的依赖关系。直接使用正则表达式匹配SQL中的表名和字段名，在面对子查询、CTE、JOIN、函数嵌套等复杂场景时，极易出错且难以维护。
SQL解析通过将文本转换为结构化的树形数据，使得程序能够精确地访问SQL中的每一个元素（表、字段、别名、函数、条件等），从而为血缘分析提供可靠的底层数据。
4.2 解析三阶段概览
SQL解析通常分为三个连续的阶段，每个阶段都有其特定的输入、输出和任务。下表总结了这三个阶段的核心差异：
| 阶段 | 输入 | 输出 | 核心任务 | 血缘分析中的价值 |
|---|---|---|---|---|
| 词法分析 | 原始SQL字符串 | Token流（标记序列） | 将字符序列拆分为有意义的单词（Token） | 识别关键字（SELECT, FROM）、标识符（表名、字段名）、操作符 |
| 语法分析 | Token流 | 抽象语法树（AST） | 根据语法规则，将Token流组织成树形结构 | 建立SQL的层级关系（如：SELECT -> 字段列表 -> 表达式） |
| 语义分析 | AST | 带语义信息的AST | 验证类型、作用域、引用合法性 | 解析表别名、字段所属表、函数返回值类型 |
4.3 词法分析：从字符串到Token流
词法分析器（Lexer或Tokenizer）是解析过程的第一道工序。它像是一个“单词切割机”，将输入的SQL字符串按照语言规范，切割成一个个不可再分的Token（词法单元）。
每个Token通常包含两个部分：类型（如：关键字、标识符、数字、字符串、操作符）和值（原始文本）。
例如，对于以下SQL语句：
SELECT a.name, b.salary FROM employee AS a JOIN department AS b ON a.dept_id = b.id;词法分析器会将其拆分为如下Token序列（简化表示）：
| Token类型 | Token值 |
|---|---|
| 关键字 | SELECT |
| 标识符 | a |
| 操作符 | . |
| 标识符 | name |
| 分隔符 | , |
| 标识符 | b |
| 操作符 | . |
| 标识符 | salary |
| 关键字 | FROM |
| 标识符 | employee |
| 关键字 | AS |
| 标识符 | a |
| 关键字 | JOIN |
| 标识符 | department |
| 关键字 | AS |
| 标识符 | b |
| 关键字 | ON |
| 标识符 | a |
| 操作符 | . |
| 标识符 | dept_id |
| 操作符 | = |
| 标识符 | b |
| 操作符 | . |
| 标识符 | id |
| 分隔符 | ; |
SELECTT a FROM b 中的 SELECTT 会被识别为一个标识符（而非关键字），词法分析器不会报错。语法错误将在下一阶段被捕获。
4.4 语法分析与抽象语法树（AST）
语法分析器（Parser）接收词法分析器产生的Token流，并根据SQL的语法规则（通常由上下文无关文法定义），将这些线性排列的Token组织成一个树状结构——抽象语法树（AST）。
AST是SQL的“骨架”，它去除了无关紧要的语法细节（如分号、括号的优先级等），只保留程序逻辑的核心结构。每个节点代表一个语法结构（如：SelectStatement、JoinClause、ColumnReference、FunctionCall）。
以下是对应上述SQL语句的简化AST结构示意图：
4.5 词法分析与语法分析在血缘追踪中的作用
理解这两个阶段，对于编写高质量的血缘解析代码至关重要：
- 词法分析阶段： 负责识别出所有的“标识符”（Identifier）。在血缘分析中，我们需要从Token流中初步筛选出所有可能是表名或字段名的Token。例如，
SELECT a.name中的a和name都会被标记为标识符，但此时还不知道a是别名还是表名。 - 语法分析阶段： 负责建立“上下文关系”。AST告诉我们
a.name是一个ColumnRef（字段引用），并且它位于SelectClause下。更重要的是，AST将FROM employee AS a中的a与employee关联起来，从而在后续分析中，我们可以通过遍历AST，将a.name解析为employee.name。
ColumnRef 的节点即可。
4.6 解析器生成工具与血缘分析实践
在实际项目中，我们很少手动编写词法分析器和语法分析器。通常使用解析器生成工具（Parser Generator）或现成的SQL解析库。以下是几种常见的选择：
| 工具/库 | 语言 | 特点 | 在血缘分析中的适用性 |
|---|---|---|---|
| ANTLR | Java, Python, JS等 | 强大的语法定义能力，支持多种目标语言，社区有现成的SQL语法文件 | 非常适合构建跨数据库类型的血缘分析工具 |
| sqlparse | Python | 轻量级，纯Python实现，解析速度快 | 适合快速原型开发或对解析精度要求不高的场景 |
| Calcite | Java | Apache顶级项目，提供完整的SQL解析、验证和优化框架 | 企业级数据平台（如Hive, Flink）内部广泛使用 |
| JSqlParser | Java | 专门用于解析SQL的Java库，API友好 | Java技术栈中实现血缘分析的常用选择 |
下图展示了使用解析器工具进行血缘分析的一般流程：
4.7 本章小结
- 词法分析 将SQL字符串拆解为Token流，是解析的基础。
- 语法分析 将Token流组织成抽象语法树（AST），是解析的核心产出。
- AST是数据血缘分析的“地图”，它清晰地展示了SQL语句中各个元素的层级和引用关系。
- 在实际工程中，应优先使用成熟的解析库（如ANTLR、JSqlParser、Calcite）来生成AST，而非手动解析。
- 血缘分析的本质，就是高效、准确地遍历AST，并结合元数据信息，推导出字段级别的数据流向。