1. 课程导论：什么是数据血缘？为什么在工程分析平台中需要构建血缘？课程目标与适用人群

1.1 数据血缘的定义与核心要素

数据血缘（Data Lineage）是指数据从产生、加工、流转到最终消亡的完整生命周期追踪记录。它描述了数据在系统间、表间、字段间的来源、变换路径与依赖关系。在工程分析平台中，血缘不仅是一张“数据地图”，更是一套可追溯、可审计、可影响分析的元数据管理机制。

数据血缘包含以下四个核心要素：

1.2 为什么在工程分析平台中需要构建血缘？

工程分析平台承载着设备监控、质量分析、工艺优化、故障诊断等核心业务场景。数据链路长、环节多、变更频繁，缺乏血缘管理会带来以下典型问题：

• 故障定位困难： 某个指标异常时，无法快速判断是源头采集问题、中间计算错误还是下游消费异常。
• 变更影响不可控： 修改一个字段或表结构，无法预知会影响哪些报表、模型或下游系统。
• 数据质量追溯缺失： 数据质量问题发生后，难以回溯到具体的加工环节和责任人。
• 合规与审计风险： 工程数据涉及安全、环保、质量等监管要求，缺乏血缘则无法提供完整的数据流转证据链。

构建血缘后，工程分析平台可以获得以下核心能力：

1. 全链路可追溯： 从最终报表反向追溯到原始采集点，每一步变换清晰可见。
2. 影响分析自动化： 当上游表结构或逻辑变更时，自动列出所有受影响的下游资产。
3. 数据质量根因分析： 结合血缘与质量监控，快速定位异常数据产生的环节。
4. 资产地图可视化： 以图形化方式展示数据资产之间的依赖关系，降低认知负载。

1.3 数据血缘在工程分析平台中的典型架构

下图展示了数据血缘在工程分析平台中的核心位置与上下游关系：

1.4 课程目标

本课程旨在帮助学员系统掌握在工程分析平台中构建数据血缘的完整流程与项目部署方案。具体目标如下：

• 理解血缘构建原理： 掌握字段级、表级、任务级血缘的解析方法与存储模型。
• 掌握工程落地方法： 学会从零搭建血缘采集、解析、存储、可视化全链路。
• 熟悉部署与运维： 掌握血缘系统在 Kubernetes、物理机、混合环境下的部署方案与高可用配置。
• 解决典型工程问题： 覆盖血缘构建中的常见坑点，如 SQL 方言兼容、循环依赖检测、性能优化等。
• 形成可复用的工程问答体系： 针对实际项目中高频出现的 30 个工程问题，提供经过验证的解决方案。

1.5 适用人群