2. 数据血缘基础概念
数据血缘（Data Lineage）是工程分析平台中追溯数据生命周期、定位问题根因的核心元数据能力。本节从定义、与相近概念的差异、以及粒度分层三个维度建立基础认知。
2.1 什么是数据血缘
数据血缘描述数据从产生、加工、流转到最终消费的完整路径，记录每个环节的输入来源、转换逻辑、输出去向以及执行环境。它本质上是一张有向无环图（DAG），节点代表数据实体或处理任务，边代表数据流向。
核心特征：
- 可追溯性：从任意下游指标或报表，反向追踪到原始数据源。
- 可影响分析：当上游表结构变更或任务失败时，快速评估波及范围。
- 可审计性：完整记录数据变换历史，满足合规与治理要求。
2.2 血缘与数据地图 / 数据目录的区别
数据血缘、数据地图、数据目录是数据治理的三大元数据能力，但定位与用途有明显差异。下表从多个维度进行对比：
| 对比维度 | 数据血缘 | 数据地图 | 数据目录 |
|---|---|---|---|
| 核心目标 | 追溯数据流转与变换路径 | 展示数据资产分布与关联 | 提供数据资产的检索与发现 |
| 关注粒度 | 字段级 / 表级 / 任务级 | 表级 / 库级 / 系统级 | 表级 / 字段级 / 指标级 |
| 核心能力 | 影响分析、根因定位、变更追溯 | 数据资产盘点、热力图、关联分析 | 搜索、标签、分类、权限管理 |
| 数据模型 | 有向无环图（DAG） | 星型 / 网状关联图 | 树形 / 分类目录 |
| 典型用户 | 数据工程师、分析工程师 | 数据架构师、治理团队 | 数据分析师、业务用户 |
| 更新频率 | 任务执行后实时更新 | 周期性（日/周）同步 | 按需或定时同步 |
工程实践建议：在工程分析平台中，数据目录用于“找表”，数据地图用于“看全局”，数据血缘用于“查问题”。三者配合使用，而非互相替代。
2.3 血缘的粒度：字段级 / 表级 / 任务级
血缘的粒度决定了追溯的精度和存储开销。工程分析平台通常按场景选择不同粒度，或混合使用。
2.3.1 表级血缘
记录表与表之间的数据流向，不关心具体字段。适用于快速了解数据链路拓扑，存储成本低，但无法定位字段级问题。
- 示例：
ods_order → dwd_order_detail → dws_order_summary - 适用场景：影响分析、任务依赖调度、数据链路概览
2.3.2 字段级血缘
记录每个字段的来源字段与转换逻辑，精度最高。可精确回答“看板上这个指标值来自哪个原始字段”。
- 示例：
dws_order_summary.total_amount来源于dwd_order_detail.amount经过SUM聚合 - 适用场景：指标异常归因、字段变更影响评估、数据质量追溯
2.3.3 任务级血缘
记录数据处理任务（ETL、SQL脚本、数据管道）之间的依赖关系。关注“哪个任务产生了这张表”，而非表内字段细节。
- 示例：
ods_to_dwd_task → dwd_to_dws_task → dws_to_ads_task - 适用场景：任务调度排障、作业依赖管理、重跑策略制定
注意：字段级血缘的存储量通常是表级血缘的 10~50 倍。在平台落地时，建议对核心看板指标启用字段级血缘，对普通报表使用表级血缘，避免元数据存储膨胀。
2.4 血缘在工程分析平台中的价值定位
数据血缘不是独立的元数据展示，而是工程分析平台中“问题定位”和“变更管理”的基础设施。具体价值体现在：
- 看板数据异常归因：当看板指标突增或突降时，沿血缘链路反向追溯，快速定位是上游数据源问题、ETL 逻辑变更还是计算任务失败。
- 变更影响评估：上游表结构变更（如新增字段、修改字段类型）时，自动评估波及的下游看板、报表和 API，辅助决策是否发布变更。
- 数据质量追溯：当数据质量规则（如空值率、唯一性）告警时，通过血缘定位到具体的数据生产环节，缩短排查时间。
- 合规审计：完整记录数据从采集到消费的全链路，满足数据安全法和行业监管的审计要求。