VIP20

本课程属于：032-数据网格架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据产品血缘追踪与治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘概述

什么是数据血缘、为什么需要数据血缘、数据血缘与数据地图的区别。

血缘核心概念

表级血缘、字段级血缘、ETL血缘、报表血缘。

表级字段级ETL

血缘采集原理

SQL解析、日志解析、API采集、元数据抓取。

采集SQL日志

SQL解析技术

Antlr解析、正则匹配、抽象语法树(AST)、自定义解析器。

Hive血缘解析

HiveQL解析、分区血缘、UDF血缘、临时表处理。

Spark血缘解析

Spark SQL血缘、DataFrame血缘、RDD依赖链。

SparkDataFrameRDD

Flink血缘解析

Flink SQL血缘、Operator Chain、状态血缘。

FlinkOperator状态

数据仓库血缘

ODS层血缘、DWD层血缘、DWS层血缘、ADS层血缘。

数仓分层ODS

数据湖血缘

Delta Lake血缘、Iceberg血缘、Hudi血缘。

数据湖DeltaIceberg

实时血缘追踪

Kafka血缘、实时计算血缘、消息队列血缘。

实时Kafka消息队列

血缘存储设计

图数据库选型(Neo4j)、关系型存储、Elasticsearch索引。

血缘可视化

D3.js血缘图、G6图可视化、力导向图、层次图。

D3.jsG6可视化

血缘API设计

RESTful API、GraphQL接口、批量查询、增量同步。

血缘质量评估

血缘完整性、血缘准确性、血缘时效性、血缘覆盖率。

质量评估覆盖率

血缘治理策略

血缘标准化、命名规范、字段映射规范、层级规范。

治理规范标准化

上游影响分析、下游影响分析、变更影响范围评估。

影响上游下游

数据来源追溯、数据加工过程追溯、数据质量问题定位。

溯源追溯质量

数据资产盘点

基于血缘的资产发现、资产热度分析、资产生命周期管理。

资产盘点热度

数据安全与血缘

敏感数据识别、数据脱敏血缘、权限控制血缘。

安全脱敏权限

GDPR合规、数据流转审计、数据销毁血缘。

合规GDPR审计

血缘与数据质量

质量规则血缘、质量监控血缘、异常传播分析。

质量监控异常

血缘与数据治理平台

Atlas集成、DataHub集成、Marquez集成。

AtlasDataHubMarquez

大规模血缘处理

分布式采集、血缘合并、血缘去重、血缘压缩。

大规模分布式去重

血缘版本管理

血缘快照、版本对比、历史回溯、回滚分析。

版本快照回滚

跨平台血缘

跨Hadoop血缘、跨云血缘、跨数据库血缘。

跨平台Hadoop跨云

血缘自动化

自动采集、自动解析、自动更新、自动告警。

自动化采集告警

血缘应用场景

数据地图、数据目录、数据发现、数据影响分析。

应用地图目录

血缘最佳实践

企业级血缘架构、团队协作、运维监控、持续优化。

最佳实践架构运维

血缘案例实战

电商数据血缘、金融数据血缘、物联网数据血缘。

案例电商金融

血缘未来趋势

AI辅助血缘、主动元数据、数据网格血缘、Data Fabric血缘。

趋势AIData Fabric