VIP20

本课程属于：001-批处理数据仓库架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据仓库质量监控与治理体系建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据仓库质量概述

为什么需要质量保障 · 质量问题的代价 · 质量保障体系全景图

数据质量维度详解

完整性 · 准确性 · 一致性 · 及时性 · 唯一性 · 有效性

元数据管理基础

元数据定义 · 技术元数据与业务元数据 · 采集与存储

元数据治理

数据血缘分析

血缘关系定义 · 解析技术 · 可视化与应用场景

血缘可观测

数据质量度量指标体系

质量指标定义 · 指标分级（表级/字段级/任务级）· 计算口径

数据质量监控平台架构

平台整体设计 · 采集层 · 计算层 · 告警层 · 展示层

数据质量规则配置

规则类型（空值/重复/值域/业务逻辑）· 规则模板化

规则自动化

离线数据质量监控

Hive/Spark任务校验 · 分区完整性检查 · 数据量波动监控

离线批处理

实时数据质量监控

Kafka消息质量 · Flink延迟监控 · 实时准确性校验

实时流处理

数据质量告警机制

告警分级(P0-P3) · 渠道(邮件/短信/钉钉企微) · 抑制与升级

数据质量报告与仪表盘

日报/周报/月报设计 · 质量评分卡 · 趋势分析图

可视化报告

数据质量复盘与改进

问题根因分析 · 改进措施跟踪 · 质量闭环管理

复盘持续改进

数据质量与数据治理的关系

数据治理框架 · 质量在治理中的位置 · 与标准化协同

数据质量与数据安全

敏感数据识别 · 脱敏规则校验 · 访问审计与质量联动

数据质量在数据湖/仓一体中的应用

湖仓一体质量挑战 · 统一元数据与质量中心

数据质量在BI报表中的应用

报表准确性保障 · 指标口径一致性 · 数据源变更影响分析

数据质量在机器学习中的应用

特征质量检测 · 训练数据分布漂移 · 模型输入校验

数据质量自动化测试框架

自动化用例设计 · 回归测试 · CI/CD集成

数据质量SLA管理

SLA定义 · 监控 · 违约处理与补偿机制

数据质量团队建设

角色定义(质量工程师/分析师) · 协作流程 · 文化建设

数据质量工具选型

开源(Great Expectations/Deequ/Griffin) · 商业(Informatica/Collibra)

Great Expectations实战

安装配置 · Expectation定义 · Data Docs · 自动化运行

Amazon Deequ原理 · Metrics计算 · 约束建议 · Spark集成

Apache Griffin实战

Griffin架构 · Measure配置 · Job调度 · UI监控

数据质量与DataOps

DataOps理念 · CI/CD流水线嵌入 · 质量门禁

DataOps流水线

数据质量成本优化

计算资源优化 · 存储成本控制 · 任务优先级管理

数据质量在金融行业的实践

监管合规 · 交易数据准确性 · 风控数据质量

数据质量在电商行业的实践

订单一致性 · 用户画像准确性 · 库存及时性

数据质量在医疗行业的实践

患者数据完整性 · 医疗记录准确性 · 隐私保护合规

数据质量未来趋势

AI驱动检测 · 数据可观测性 · Quality as Code