VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

血缘分析驱动数据治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据治理的困境与血缘分析的破局

传统数据治理的痛点（数据孤岛、口径不一、溯源困难），血缘分析如何成为数据治理的基石，课程整体框架与学习路径。

数据血缘核心概念解析

什么是数据血缘（Lineage），血缘与数据地图、数据目录的区别，血缘的粒度（字段级、表级、任务级），血缘的生命周期。

粒度生命周期

血缘分析的三大技术流派

解析式（SQL Parser）、日志式（任务日志）、标记式（数据打标），各流派优缺点对比与适用场景。

SQL Parser日志式标记式

SQL Parser 实战：基于 Apache Calcite

基于 Apache Calcite 解析 SQL 语句，提取输入表、输出表、字段映射关系，代码示例与踩坑记录。

Calcite字段映射

任务日志采集与分析

从 Airflow、Spark、Hive 等任务日志中提取血缘信息，日志解析的通用模式与工具选型。

AirflowSparkHive

数据打标与主动式血缘

在数据写入时主动标记来源，实现精准的字段级血缘追踪，适用于流式与实时场景。

主动标记实时

血缘存储选型与图数据库

为什么选择图数据库（Neo4j、JanusGraph），关系型数据库的局限性，图模型设计（节点、边、属性）。

Neo4jJanusGraph

血缘图模型设计实战

定义数据资产节点（表、字段、任务），定义关系边（DEPENDS_ON、PRODUCES、CONSUMES），属性设计最佳实践。

节点边属性

血缘数据采集架构设计

Lambda 架构与 Kappa 架构在血缘采集中的应用，实时采集与离线采集的融合方案。

血缘数据质量保障

如何验证血缘的准确性，去重、合并、冲突解决策略，血缘数据的监控与告警。

准确性监控

血缘可视化基础

使用 D3.js 或 vis.js 渲染血缘图谱，力导向图布局与层次布局的选择，交互式探索（缩放、拖拽、高亮）。

血缘可视化进阶

大规模血缘图的性能优化（WebGL、Canvas 渲染），按时间轴回放血缘变化，血缘影响分析的可视化呈现。

血缘在数据目录中的应用

自动生成数据字典，字段级血缘驱动数据地图，数据资产的血缘热度分析。

数据字典热度

血缘驱动的数据质量监控

基于血缘的字段级质量规则自动推荐，异常数据的上游追溯与根因分析，质量分数传播模型。

根因分析传播模型

血缘在数据安全与合规中的应用

敏感数据字段的血缘追踪，数据脱敏策略的自动推导，GDPR/CCPA 合规审计的血缘支撑。

血缘驱动的数据变更管理

表结构变更的影响分析，字段下线的安全评估，基于血缘的灰度发布策略。

变更影响灰度发布

血缘在数据建模中的应用

基于血缘的维度建模验证，数据仓库分层设计的血缘合规检查，模型重构的血缘影响评估。

维度建模合规检查

血缘与元数据管理平台集成

集成 Apache Atlas、DataHub、Amundsen 等开源元数据平台，开放 API 设计与标准化。

AtlasDataHubAmundsen

大规模血缘系统的性能挑战

日均百万级血缘关系的处理，图数据库的读写优化，缓存策略与数据分片。

百万级读写优化

血缘数据的一致性保障

分布式环境下的血缘数据一致性，最终一致性模型的应用，血缘数据的回滚与修复。

一致性回滚

血缘分析的自动化与智能化

基于机器学习自动补全缺失的血缘关系，血缘关系的置信度评分，异常血缘模式的自动检测。

血缘在数据湖与数据网格中的应用

数据湖中血缘的挑战（Schema on Read），数据网格中跨域血缘的联邦查询。

数据湖数据网格

实时血缘分析

基于 Flink/Spark Streaming 的实时血缘采集，毫秒级血缘更新，实时数据管道的影响分析。

血缘在 AI/ML 场景中的应用

特征工程的血缘追踪，模型训练数据的来源审计，模型版本与数据血缘的关联。

特征工程模型审计

血缘分析的商业价值度量

如何量化血缘分析带来的效率提升，数据事故减少的 ROI 计算，数据治理成熟度评估。

血缘治理组织与流程建设

数据治理委员会的角色，血缘标准的制定与推广，跨团队协作的血缘文化培养。

开源血缘工具深度对比

Apache Atlas vs DataHub vs Amundsen vs Marquez，功能、性能、社区活跃度全面对比。

AtlasDataHubMarquez

企业级血缘平台架构实战

从 0 到 1 搭建血缘平台，技术选型、架构设计、落地路线图，常见坑与避坑指南。

案例实战一：金融监管报表血缘追溯

从报表到源系统的全链路血缘，数据质量问题的快速定位，金融行业合规场景。

金融全链路

案例实战二：电商大促数据管道影响分析

实时数据流与离线数据流的血缘融合，数据故障的分钟级恢复，电商大促场景。

电商分钟级恢复