1. 课程导论：血缘分析的定义、在工程分析平台中的价值、课程整体大纲与学习目标
1.1 什么是血缘分析？
血缘分析（Lineage Analysis）是一种追踪数据从产生、流转、加工到最终消费全链路的技术方法。在工程分析平台中，血缘分析以有向无环图（DAG）的形式，记录数据字段、表、任务、API 之间的上下游依赖关系。
核心定义： 血缘分析 = 数据来源（Source）+ 转换过程（Transform）+ 目标输出（Target）+ 依赖关系（Dependency）。
血缘分析区别于简单的数据映射，它强调：
- 字段级粒度： 追踪到具体列的变更影响。
- 全生命周期： 覆盖采集、清洗、聚合、建模、报表等阶段。
- 多系统关联： 打通离线数仓、实时流、BI 工具之间的数据流。
1.2 血缘分析在工程分析平台中的价值
在大型工程分析平台中，数据链路往往涉及数百个任务、数千张表。血缘分析提供了以下关键能力：
| 价值维度 | 具体说明 | 典型场景 |
|---|---|---|
| 影响分析 | 当上游表结构变更或任务失败时，快速定位下游受影响的报表、API 或模型。 | 字段类型变更 → 自动通知下游 20 个消费方 |
| 故障溯源 | 从数据质量异常出发，反向追溯根因节点，缩短排障时间。 | 日报数据为空 → 定位到某 ETL 任务未执行 |
| 合规治理 | 识别敏感数据的流转路径，确保数据脱敏和权限管控覆盖完整链路。 | 用户手机号字段 → 检查所有下游是否脱敏 |
| 成本优化 | 发现冗余链路、僵尸表、重复计算任务，辅助资源治理。 | 识别 3 个月无下游引用的中间表 |
| 协作效率 | 新成员通过血缘图快速理解数据架构，减少沟通成本。 | 新人入职 1 小时即可掌握核心数据流 |
实践提示： 血缘分析的价值与数据规模呈正相关。当平台拥有超过 100 张表或 50 个任务时，手动维护依赖关系已不可行，必须依赖自动化血缘采集与可视化。
1.3 血缘分析的核心概念模型
下图展示了血缘分析中涉及的核心实体及其关系：
1.4 课程整体大纲
本课程共 30 章，分为四大模块，覆盖从理论到工程落地的完整路径：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第 1-5 章 | 血缘分析定义、数据模型、采集原理、存储选型、查询语言 |
| 环境搭建篇 | 第 6-12 章 | 开发环境配置、元数据平台部署、血缘采集引擎集成、可视化工具选型 |
| 工程实践篇 | 第 13-24 章 | 字段级血缘解析、跨系统链路追踪、增量采集、性能优化、质量校验 |
| 进阶与案例篇 | 第 25-30 章 | 实时血缘、数据湖血缘、合规审计、大厂案例复盘、平台演进路线 |
1.5 学习目标
完成本课程后，学员应具备以下能力：
- 理解能力： 掌握血缘分析的核心概念、数据模型与主流技术方案。
- 搭建能力： 独立搭建一套包含采集、存储、查询、可视化的血缘分析平台。
- 解析能力： 实现字段级血缘解析，支持 SQL、Spark、Flink 等常见引擎。
- 治理能力： 基于血缘数据进行影响分析、故障溯源、成本优化与合规治理。
- 扩展能力： 理解实时血缘、数据湖血缘等前沿方向，具备平台架构演进的设计思路。
前置要求： 学员需具备基本的数仓概念（表、ETL、维度建模），熟悉至少一种 SQL 方言，了解 Linux 基础操作。无需预先搭建过血缘系统。
1.6 课程学习路径图
下图展示了本课程四大模块之间的依赖关系与学习顺序：