VIP20
本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Lakehouse数据质量监控体系

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据质量概述
为什么数据质量是Lakehouse的生命线？剖析数据质量问题的代价与业务影响，建立全局质量意识。
生命线代价分析
02
数据质量维度详解
完整性、准确性、一致性、及时性、唯一性、有效性——六大维度深度解读与度量方法。
六维度度量
03
Lakehouse架构下的数据质量挑战
数据湖的灵活性vs数据仓库的严谨性，Schema on Read与Schema on Write的博弈与平衡之道。
架构博弈Schema演化
04
数据质量监控体系设计原则
从被动救火到主动防御，建立可观测性文化，设计可演进的质量监控架构。
主动防御可观测性
05
元数据驱动的质量监控
利用Hive Metastore、Unity Catalog等元数据服务自动发现数据资产，驱动质量规则配置。
元数据自动发现
06
数据血缘与影响分析
构建端到端的数据血缘图，精准定位质量问题的根因，实现影响面快速评估。
血缘图根因定位
07
数据质量规则引擎
规则的定义、分类（表级、列级、跨表级）、存储与调度，打造可复用的规则体系。
规则引擎分类调度
08
基于Great Expectations的规则实现
Expectation Suite的编写、配置与执行，利用开源工具实现声明式数据质量验证。
Great ExpectationsExpectation Suite
09
基于Apache Griffin的规则实现
Griffin的架构、Measure与Job的配置，企业级数据质量监控的另一种选择。
Apache GriffinMeasure
10
实时数据质量监控
针对Kafka、Delta Live Tables等流式数据的质量检测策略，处理乱序与延迟数据。
实时监控流式数据
11
数据质量度量与指标
DQ Score、数据质量SLA、数据质量仪表盘的设计，量化质量水平。
DQ ScoreSLA
12
数据质量告警与通知
分级告警机制（P0/P1/P2），集成钉钉、Slack、PagerDuty，确保及时响应。
分级告警集成通知
13
数据质量报告与可视化
使用Apache Superset、Grafana构建数据质量看板，让质量状态一目了然。
可视化看板
14
数据质量修复策略
自动修复（重跑、回滚）、半自动修复（人工审批）、手动修复，分级处理质量问题。
修复策略自动回滚
15
数据质量与CI/CD集成
在数据Pipeline的CI/CD流程中嵌入质量门禁，实现质量左移。
CI/CD质量门禁
16
数据质量SLA管理
SLA的定义、监控、违约处理与复盘，建立质量契约文化。
SLA管理违约处理
17
数据质量成本优化
如何平衡质量监控的精度与计算/存储成本，实现经济高效的质量保障。
成本优化精度平衡
18
数据质量团队建设
角色定义（数据质量工程师、数据管家）、流程规范，构建质量责任体系。
团队角色流程规范
19
数据质量工具选型
开源（Great Expectations、Griffin、Deequ）vs商业（Monte Carlo、Sifflet）全面对比。
工具选型开源vs商业
20
案例实战：电商订单数据质量监控
从0到1搭建电商订单数据质量监控体系，涵盖实时与离线场景。
电商实战订单质量
21
案例实战：金融风控数据质量监控
高合规要求场景下的数据质量监控体系，满足审计与监管需求。
金融风控合规
22
案例实战：IoT传感器数据质量监控
高吞吐、乱序数据场景下的质量监控策略，处理时序数据特有挑战。
IoT高吞吐
23
数据质量与数据治理
数据目录、数据字典、数据标准与质量规则的联动，构建治理闭环。
数据治理标准联动
24
数据质量与数据安全
敏感数据识别、脱敏规则与质量监控的结合，安全与质量并重。
数据安全脱敏
25
数据质量测试
单元测试、集成测试、回归测试在数据质量中的应用，保障数据管道可靠性。
测试方法回归测试
26
数据质量监控的自动化运维
监控自身的健康检查、日志分析与自愈，实现监控系统的自治。
自动化运维自愈
27
数据质量文化的推广
如何让业务方、分析师、数据工程师都重视数据质量，构建质量文化。
文化推广全员参与
28
数据质量成熟度模型
从Level 0（无监控）到Level 5（智能化自治）的演进路径，评估当前阶段。
成熟度演进路径
29
未来趋势：AI驱动的数据质量
Data Observability平台、Data Mesh下的质量联邦治理，探索智能化自治未来。
AI驱动Data Mesh
30
课程总结与最佳实践
Lakehouse数据质量监控体系的Checklist与Roadmap，回顾关键要点与行动指南。
总结最佳实践