VIP20

本课程属于：042-数据治理运营 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据质量诊断修复与SLA管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

什么是数据质量、数据质量的重要性、数据质量维度（准确性、完整性、一致性、及时性、唯一性）。

数据质量诊断方法论

诊断流程（定义-测量-分析-改进-控制）、诊断工具概览、诊断报告模板。

方法论流程

数据剖析基础

单列剖析（空值率、唯一值、数据类型推断）、多列关联剖析（外键依赖、冗余检测）。

数据质量规则引擎

规则定义语法、规则分类（空值检查、格式校验、范围校验、业务逻辑校验）、规则执行引擎设计。

数据清洗与修复策略

清洗策略（丢弃、填充、平滑、转换）、修复优先级决策、自动化修复管道设计。

数据质量监控与告警

监控指标设计、阈值设定、告警通知机制（邮件、钉钉、短信）、监控看板搭建。

数据质量元数据管理

元数据采集、血缘分析、影响分析、数据字典与质量规则关联。

元数据血缘

数据质量在数据仓库中的应用

ETL过程中的质量检查、维度建模中的质量保障、缓慢变化维度的处理。

数据质量在数据湖中的应用

湖仓一体架构下的质量挑战、Schema on Read vs Schema on Write、数据湖质量检查点设计。

数据湖架构

数据质量在实时流处理中的应用

实时数据质量挑战、Watermark与延迟数据处理、实时质量监控架构。

实时流处理

数据质量工具选型

开源工具（Great Expectations、Deequ、Apache Griffin）、商业工具（Informatica、Talend）、选型对比矩阵。

Great Expectations实战

安装配置、Expectation Suite定义、Data Docs生成、自动化验证流水线。

实战Great Expectations

Amazon Deequ原理、Metrics Computation、Constraint Suggestion、数据质量评分卡。

Apache Griffin实战

Griffin架构、Measure配置、Job调度、UI监控面板。

数据质量评分卡设计

评分维度、权重分配、评分算法、评分可视化。

评分卡可视化

数据质量报告自动化

报告模板设计、定时生成、分发机制、报告解读。

自动化报告

数据质量与数据治理

数据治理框架（DAMA、DCAM）、质量在治理中的位置、数据质量委员会组织。

数据质量与数据安全

敏感数据识别、脱敏策略、质量检查中的隐私保护。

数据质量与数据合规

GDPR、CCPA等法规对数据质量的要求、审计追踪、数据保留策略。

数据质量测试

单元测试（规则测试）、集成测试（端到端质量验证）、回归测试（质量基线）。

测试质量基线

数据质量SLA管理

SLA定义、SLA监控、SLA违约处理、SLA报告。

数据质量成本分析

劣质数据成本计算、质量改进ROI分析、成本效益模型。

数据质量文化建设

团队培训、质量意识提升、质量激励机制、DevOps与DataOps融合。

数据质量在机器学习中的应用

特征质量检查、训练数据质量、模型监控中的数据漂移检测。

机器学习漂移

数据质量在BI报表中的应用

报表数据源质量、指标一致性、报表质量审计。

数据质量在数据中台中的应用

数据中台架构、质量中台设计、数据服务化中的质量保障。

中台服务化

数据质量在数据交换与共享中的应用

数据交换标准、共享数据质量协议、跨组织质量协同。

数据质量在云环境中的应用

云原生数据质量工具、多云数据质量挑战、Serverless质量检查。

云原生Serverless

数据质量案例实战

电商订单数据质量诊断与修复、金融风控数据质量保障、医疗数据质量治理。

数据质量未来趋势

AI驱动的数据质量、Data Observability、数据质量即代码（Quality as Code）。