VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据湖数据质量监控体系建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖概述

数据湖的定义与核心特征，对比数据仓库的差异，解析Lakehouse等典型架构设计。

数据质量的重要性

数据质量的定义及其对成本、决策、合规的影响，详解准确性、完整性、一致性等关键维度。

核心概念维度

数据质量监控体系总览

监控体系的目标与核心组件，包括规则引擎、监控告警、元数据管理，展示体系架构图。

元数据管理基础

技术元数据、业务元数据、管理元数据的分类，元数据采集与存储，以及Apache Atlas/DataHub简介。

元数据工具

数据血缘分析

血缘分析的价值，基于SQL解析与日志采集的血缘原理，以及血缘可视化实践。

数据质量规则定义

空值检查、唯一性、值域、格式检查及自定义SQL等规则类型，实现规则模板化。

规则引擎设计与实现

规则解析、定时/触发调度，以及基于Spark/Flink的规则执行引擎设计。

数据质量度量与指标

核心指标如DQ Score与健康度，指标计算方式及时序数据库存储方案。

监控告警机制

P0-P3告警级别定义，邮件、钉钉、短信等多渠道告警，以及抑制与升级策略。

数据质量报告与仪表盘

报告设计原则，趋势图、分布图、热力图等关键图表，基于Grafana/Superset的实践。

可视化仪表盘

实时数据质量监控

实时场景挑战，基于Flink CEP的规则检测，以及延迟数据处理方案。

数据质量与数据治理的集成

与数据目录集成、脱敏策略联动，以及数据生命周期管理结合。

自动化数据质量修复

重跑、回滚、补偿等修复策略，基于规则的自愈机制与人工介入流程。

数据质量SLA管理

SLA定义与监控，违约处理流程，保障数据服务等级。

数据质量测试

单元测试（规则测试）、集成测试（端到端流程）、回归测试，保障质量体系稳定。

数据湖实践（一）：ACID事务

基于Delta Lake / Iceberg的ACID事务特性，保障数据湖数据质量。

Delta LakeIceberg

数据湖实践（二）：Spark质量扫描

利用Apache Spark进行大规模数据质量扫描，提升检测效率。

数据湖实践（三）：Flink实时检测

基于Apache Flink的实时流数据质量检测，应对流式场景。

数据湖实践（四）：存储层校验

HDFS/对象存储的数据完整性校验，保障存储层数据质量。

数据质量监控平台选型

开源方案（Great Expectations、Deequ、Apache Griffin）与商业方案（Informatica、Talend）对比。

Great Expectations实战

安装配置、Expectation定义、Data Docs生成，以及与Airflow集成。

Great Expectations实战

基于Spark的Deequ使用，数据质量约束定义，分析结果存储。

Apache Griffin实战

Griffin架构解析，Measure与Job配置，以及UI界面使用。

监控体系部署

K8s/Yarn环境准备，Spark/Flink集群部署，高可用设计。

部署高可用

监控体系性能优化

规则执行优化（谓词下推、分区裁剪），资源动态分配与缓存策略。

监控体系安全与权限

数据脱敏、规则访问控制、审计日志，保障体系安全。

监控体系运维

日志收集与分析，Prometheus+Grafana监控大盘，故障自愈。

案例（一）：金融行业

金融行业数据湖质量监控实践，聚焦风控数据与交易数据。

案例（二）：电商行业

电商行业数据湖质量监控实践，覆盖用户行为数据与订单数据。

AI驱动的质量预测、Data Observability（数据可观测性）、Data Mesh下的质量挑战。