VIP20

本课程属于：041-数据主数据管理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

主数据治理中的数据血缘追踪

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘概述

什么是数据血缘、为什么需要数据血缘、数据血缘与数据地图的区别。

核心概念解析

血缘节点、血缘关系、血缘方向、血缘粒度（字段级/表级/系统级）。

主数据与血缘的关系

主数据特征、主数据生命周期、血缘如何支撑主数据治理。

主数据治理

血缘追踪技术栈

解析引擎、元数据采集、图数据库选型（Neo4j vs JanusGraph）。

技术栈图库

SQL解析实战

使用Antlr解析SQL、提取表级与字段级依赖、处理子查询与CTE。

ETL血缘采集

从Kettle/Informatica中抽取映射关系、解析转换逻辑。

Spark血缘分析

Spark SQL执行计划解析、从LogicalPlan中提取血缘。

Spark执行计划

Hive血缘追踪

HiveQL解析、Hook机制采集、LineageLogger实现。

数据血缘存储模型

图模型设计、节点属性定义、关系类型定义。

存储图模型

血缘可视化

D3.js力导向图、层次布局、交互式探索。

血缘查询API

基于Neo4j的Cypher查询、字段溯源接口、影响分析接口。

字段级血缘

从SQL中解析字段映射、处理表达式与函数、字段转换链。

字段级映射

跨系统血缘

通过数据交换日志拼接、系统间字段映射表、全局血缘视图。

跨系统全局

血缘准确性验证

对比解析结果与真实数据流、自动化测试框架、误报处理。

增量血缘采集

监听元数据变更事件、增量解析策略、避免全量重跑。

血缘版本管理

记录血缘快照、版本对比、回溯历史血缘。

数据质量与血缘

质量规则关联血缘节点、问题影响范围分析、根因定位。

数据安全与血缘

敏感数据标记、血缘传播分析、脱敏策略影响评估。

合规审计中的血缘

GDPR数据主体访问请求、数据流审计、合规报告生成。

血缘在数据目录中的应用

自动生成数据字典、字段热度分析、数据资产地图。

数据目录资产

实时血缘追踪

Kafka消息流解析、Flink算子链分析、实时血缘更新。

血缘数据治理平台架构

分层设计、模块划分、API网关与微服务。

架构微服务

血缘数据采集器开发

插件化架构、自定义解析器、调度与监控。

采集器插件

血缘数据存储优化

图数据库索引策略、数据分片、冷热数据分离。

血缘数据服务层设计

RESTful API设计、GraphQL接口、批量导出。

服务层GraphQL

血缘数据消费场景

自助式数据探查、数据变更通知、影响分析报告。

血缘数据治理最佳实践

团队协作流程、血缘标准规范、持续改进机制。

最佳实践规范

开源工具对比

Apache Atlas、DataHub、Amundsen、Marquez。

企业级案例

某金融公司数据血缘落地实践、某电商平台血缘治理经验。

AI辅助血缘解析、主动元数据、数据网格中的血缘。