01
数据血缘概述
什么是字段级血缘、为什么需要字段级血缘、血缘 vs 数据地图 vs 数据目录。
基础概念
02
血缘解析原理
SQL解析基础、抽象语法树(AST)、血缘提取的核心流程。
原理SQL
03
字段级血缘模型
输入字段、输出字段、转换逻辑、依赖关系的数据模型设计。
建模设计
04
SQL Select 语句解析
单表查询、多表Join、子查询的字段溯源。
SQL解析
05
SQL DDL/DML 语句解析
Create Table As Select、Insert Into Select、Merge Into 的字段映射。
DDLDML
06
UDF/函数对血缘的影响
简单函数、聚合函数、窗口函数的字段传播规则。
函数传播
07
复杂表达式解析
Case When、Cast、算数运算、字符串拼接的字段级溯源。
表达式溯源
08
视图与物化视图的血缘
视图展开、嵌套视图、物化视图刷新逻辑的血缘追踪。
视图物化
09
ETL任务血缘解析
Spark SQL、Hive SQL、Flink SQL 的字段级血缘实现差异。
ETL引擎
10
血缘存储技术选型
关系型数据库、图数据库(Neo4j)、NoSQL 的优劣对比。
存储选型
11
图数据库建模
节点(字段/表)、边(依赖关系)、属性(转换逻辑)的图模型设计。
图模型Neo4j
12
血缘数据采集架构
实时采集 vs 离线采集、事件驱动 vs 定时调度。
架构采集
13
血缘解析引擎架构
解析器、分析器、构建器、存储器的模块化设计。
引擎模块化
14
血缘可视化展示
DAG图布局算法、力导向图、层级图的实现原理。
可视化DAG
15
血缘搜索与检索
基于字段名、表名、路径的模糊搜索与精确匹配。
搜索检索
16
影响分析
修改某个字段/表后，如何快速评估下游影响范围。
影响评估
17
溯源分析
从报表字段出发，逆向追踪到原始数据源的完整路径。
溯源逆向
18
数据质量与血缘结合
字段级空值率、异常值在血缘链路上的传播分析。
质量传播
19
数据安全与血缘结合
敏感字段识别、脱敏策略在血缘链路上的自动继承。
安全脱敏
20
数据治理与血缘结合
数据标准、数据字典在血缘链路上的自动标注。
治理标注
21
血缘数据一致性校验
源端与目标端字段映射关系的自动化验证。
校验一致性
22
血缘变更管理
字段新增、删除、重命名后的血缘自动更新与冲突检测。
变更冲突
23
多环境血缘管理
开发、测试、生产环境的血缘隔离与同步策略。
环境隔离
24
血缘数据版本管理
基于时间戳或版本号的血缘快照与历史回溯。
版本快照
25
血缘数据质量监控
血缘链路断裂、循环依赖、孤立节点的自动检测与告警。
监控告警
26
血缘数据开放API
RESTful API 设计、GraphQL 接口、批量导出接口。
API接口
27
血缘数据集成
与Apache Atlas、DataHub、Amundsen 等元数据平台的集成。
集成平台
28
大规模血缘性能优化
解析性能、存储性能、查询性能的优化策略。
性能优化
29
字段级血缘落地案例
金融风控场景、电商推荐场景、医疗数据场景。
案例实践
30
血缘治理成熟度评估
从 Level 0 到 Level 5 的评估模型与演进路线。
成熟度评估