血缘链路核心要素：表级血缘、字段级血缘、ETL过程血缘、SQL解析血缘

血缘链路分析的核心在于对数据流动路径的精确刻画。根据分析粒度和技术实现路径，血缘链路可划分为四个核心要素：表级血缘、字段级血缘、ETL过程血缘和SQL解析血缘。这四个要素构成了从宏观到微观、从静态到动态的完整血缘分析体系。

3.1 四要素对比与定位

在工程分析平台中，不同场景对血缘粒度的要求不同。表级血缘用于全局数据地图和影响分析，字段级血缘用于数据质量追溯和合规审计，ETL过程血缘用于作业调度优化和故障定位，SQL解析血缘则是实现前三种血缘的技术基础。

3.2 表级血缘

表级血缘是最基础的血缘分析层次，描述数据表之间的上下游依赖关系。它不关心字段级别的映射细节，只关注“哪个表的数据流向哪个表”。

表级血缘的典型应用：

• 影响分析： 当某张源表发生Schema变更时，快速定位所有下游依赖表。
• 数据地图： 构建企业级数据资产目录，展示表之间的关联关系。
• 链路追踪： 从数据应用层反向追溯至原始数据层。

3.3 字段级血缘

字段级血缘是血缘分析的核心能力，它精确描述源表字段与目标表字段之间的映射、转换和聚合关系。字段级血缘能够回答“目标字段的数值来源于哪些源字段，经过了怎样的计算逻辑”。

字段级血缘的典型映射关系：

• 直接映射： target.col_a = source.col_a（一对一）
• 表达式转换： target.col_b = CONCAT(source.col_c, '_', source.col_d)（多对一）
• 聚合映射： target.col_c = SUM(source.col_e)（多对一，含聚合语义）
• 条件映射： target.col_d = CASE WHEN source.col_f > 0 THEN 'Y' ELSE 'N' END（带逻辑分支）

3.4 ETL过程血缘

ETL过程血缘关注的是数据加工任务（Job）之间的依赖关系，以及任务内部的数据处理步骤。它比表级血缘多了一层“作业调度”的语义，能够反映数据在时间维度上的流转顺序。

ETL过程血缘的核心元素：

• 作业节点： 代表一个ETL任务（如Spark Job、Shell脚本、DataX任务）。
• 数据节点： 代表作业产出的中间表或文件。
• 调度依赖边： 表示作业之间的执行顺序约束。
• 数据依赖边： 表示作业与数据表之间的读写关系。

3.5 SQL解析血缘

SQL解析血缘是实现表级和字段级血缘自动化的核心技术手段。它通过对SQL语句进行词法分析、语法分析和语义分析，提取出数据源、目标表、字段映射关系和转换逻辑。

SQL解析血缘的关键步骤：

1. 词法分析： 将SQL文本拆分为序列（关键字、标识符、运算符等）。
2. 语法分析： 根据SQL语法规则构建AST，识别SELECT、FROM、JOIN、WHERE、GROUP BY等子句。
3. 语义分析： 解析表名和字段名的引用关系，绑定到具体的Schema对象。
4. 血缘提取： 遍历AST中的SELECT列表和FROM/JOIN子句，建立源字段到目标字段的映射关系。
5. 关系合并： 处理子查询、CTE和视图展开，合并多层嵌套的血缘关系。

典型SQL解析血缘示例：

-- 原始SQL
INSERT OVERWRITE TABLE dwd.user_order_daily
PARTITION (dt = '2024-01-15')
SELECT
    u.user_id,
    CONCAT(u.first_name, '_', u.last_name) AS full_name,
    SUM(o.amount) AS total_amount,
    COUNT(DISTINCT o.order_id) AS order_cnt
FROM ods.user u
JOIN ods.order o ON u.user_id = o.user_id
WHERE o.status = 'completed'
  AND o.order_date = '2024-01-15'
GROUP BY u.user_id, u.first_name, u.last_name;

-- 解析后的血缘关系（伪代码）
-- dwd.user_order_daily.user_id ← ods.user.user_id
-- dwd.user_order_daily.full_name ← CONCAT(ods.user.first_name, ods.user.last_name)
-- dwd.user_order_daily.total_amount ← SUM(ods.order.amount)
-- dwd.user_order_daily.order_cnt ← COUNT(DISTINCT ods.order.order_id)
-- 过滤条件：ods.order.status = 'completed' AND ods.order.order_date = '2024-01-15'

3.6 四要素协同工作模型

在实际的工程分析平台中，四个血缘要素并非孤立工作，而是形成分层协同的模型：