VIP20

本课程属于：022-数据质量平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

血缘分析助力数据质量修复

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘基础概念

什么是数据血缘、血缘与数据目录的区别、血缘分析的核心价值。

数据血缘的元数据采集

元数据来源（ETL、SQL解析、日志）、采集策略与频率、增量采集与全量采集。

采集元数据

血缘关系建模

表级血缘、字段级血缘、过程级血缘、血缘图的存储结构（图数据库 vs 关系型数据库）。

血缘解析技术（上）

SQL静态解析（ANTLR、JSqlParser）、存储过程解析、ETL脚本解析。

血缘解析技术（下）

Hive/Spark SQL解析、数据湖血缘采集、实时流处理血缘（Flink）。

血缘可视化

D3.js血缘图渲染、层次布局算法、交互式血缘探索（展开/折叠/搜索）。

数据质量维度

完整性、准确性、一致性、及时性、唯一性、规范性。

数据质量度量

质量指标定义、评分卡模型、质量基线设定、质量报告生成。

数据质量监控

规则配置（SQL规则、自定义规则）、监控调度、告警通知（邮件/钉钉/企微）。

质量问题的根因分析

基于血缘的溯源方法、影响范围分析、变更影响分析。

血缘驱动的质量修复流程

发现问题 -> 定位源头 -> 评估影响 -> 修复验证 -> 闭环。

字段级血缘在质量修复中的应用

空值溯源、格式异常溯源、数据漂移检测。

字段级溯源

表级血缘在质量修复中的应用

脏数据扩散路径追踪、下游影响评估、修复优先级排序。

数据一致性校验

跨系统对账、源端与目标端比对、基于血缘的差异分析。

一致性对账

数据延迟监控

基于血缘的链路耗时分析、瓶颈节点识别、SLA预警。

数据质量修复策略

重跑修复、补偿数据、回溯修复、版本回退。

自动化修复工具设计

修复规则引擎、修复脚本生成、修复执行与回滚。

自动化工具

数据质量平台架构

元数据层、血缘层、监控层、修复层、展示层。

血缘与数据治理

数据资产目录、数据地图、数据血缘与数据标准的关联。

血缘在数据安全中的应用

敏感数据流向追踪、脱敏策略验证、合规审计。

血缘在数据开发中的应用

代码Review辅助、数据模型优化、冗余表识别。

血缘在数据运维中的应用

任务依赖管理、故障快速定位、数据恢复辅助。

大规模血缘系统设计

分布式采集、血缘图分片存储、查询性能优化。

大规模性能

血缘数据质量保障

血缘本身的准确性校验、血缘缺失检测、血缘冲突处理。

血缘分析工具选型

Atlas、DataHub、Marquez、Amundsen对比与实践。

血缘分析在数据中台中的应用

数据服务血缘、指标血缘、报表血缘。

血缘分析在实时数仓中的应用

实时血缘采集、实时质量监控、实时修复。

血缘分析在数据湖中的应用

湖仓一体血缘、Iceberg/Hudi表血缘、元数据同步。

数据湖Iceberg

血缘分析在AI/ML中的应用

特征血缘、模型血缘、训练数据溯源。

血缘分析最佳实践与案例

金融行业数据质量治理、电商大促数据保障、制造业数据合规。