VIP20

本课程属于：022-数据质量平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据质量跨系统数据血缘追踪与质量保障

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘基础

什么是数据血缘、为什么需要数据血缘、数据血缘的核心要素（表、字段、ETL任务）。

数据血缘的粒度

字段级血缘、表级血缘、任务级血缘，以及不同粒度的应用场景。

数据血缘的采集方式

静态解析（SQL Parser）、动态追踪（日志拦截）、混合模式。

SQL Parser实战

使用Apache Calcite解析SQL，提取输入表和输出表。

SQL Parser进阶

解析字段级血缘，处理子查询、Join、Union等复杂场景。

字段级复杂SQL

日志拦截方案

基于Spark/Flink的QueryExecutionListener，采集运行时血缘。

元数据采集

从Hive Metastore、MySQL Information Schema获取表结构信息。

血缘存储设计

使用Neo4j图数据库存储血缘关系，节点和边的设计。

血缘可视化

基于D3.js或Vis.js展示血缘图谱，支持缩放和搜索。

血缘的增量更新

如何只采集变更的部分，避免全量重跑。

数据质量概述

数据质量的六大维度（完整性、准确性、一致性、及时性、唯一性、有效性）。

质量规则引擎

设计可配置的规则引擎，支持SQL模板和自定义函数。

规则引擎配置

完整性校验

空值检测、主键唯一性检查、外键引用完整性。

完整性校验

准确性校验

字段值范围校验、枚举值校验、正则表达式匹配。

准确性正则

一致性校验

跨表字段值一致性、汇总数据与明细数据核对。

一致性核对

及时性校验

数据延迟监控，T+1、小时级、实时数据的SLA告警。

唯一性校验

重复数据检测，基于业务主键的重复记录识别。

唯一性去重

有效性校验

数据格式校验（日期、邮箱、手机号）、业务规则校验。

有效性格式

质量监控看板

使用Grafana或Superset搭建数据质量仪表盘。

质量告警机制

基于Prometheus Alertmanager或自研告警服务，支持钉钉/邮件/短信通知。

血缘与质量的关联

当数据质量告警时，自动追溯上游血缘，定位根因。

关联根因分析

数据血缘在数据治理中的应用

影响分析（修改上游表会影响哪些下游）、数据地图。

治理影响分析

数据血缘在合规中的应用

GDPR数据删除、数据脱敏影响范围评估。

跨系统血缘追踪

从MySQL到Hive到ClickHouse，打通异构数据源的血缘。

异构跨系统

血缘的准确性验证

如何验证采集到的血缘是否正确，人工标注与自动校验结合。

验证准确性

大规模血缘处理

千万级节点下的性能优化，批量写入、索引优化、查询缓存。

性能大规模

数据质量闭环

从发现问题、定位根因、修复数据到验证修复的完整流程。

数据质量评分卡

为每个表/字段计算质量得分，支持权重配置。

评分卡权重

数据血缘与质量的开源工具

Apache Atlas、DataHub、Great Expectations对比。

开源工具对比

搭建一个从MySQL到Hive的ETL管道，实现血缘采集与质量监控的完整Demo。