VIP20

本课程属于：006-数据质量工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

企业数据质量规则与治理流程建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量工程导论

数据质量的定义与业务价值，数据质量工程师的角色职责，课程全景与学习路径规划。

导论角色认知

数据质量维度（上）

准确性、完整性、一致性、及时性、唯一性——五大核心维度的定义与业务含义。

核心维度业务语义

数据质量维度（下）

有效性、精确度、可信度、可访问性、可用性——扩展维度的深入解析与应用场景。

扩展维度深度解析

数据质量生命周期

数据产生、采集、传输、存储、处理、消费全链路质量管控策略与实践。

全链路生命周期

数据质量度量与指标

DQ Score、完整性比率、准确性比率、及时性SLA等核心指标定义与计算方法。

度量指标计算

数据剖析（Data Profiling）

列剖析、跨列剖析、跨表剖析、主外键分析、数据分布与模式发现技术。

剖析模式发现

数据质量规则（上）

规则定义与分类：非空、唯一性、值域、格式、正则表达式规则详解。

规则定义基础规则

数据质量规则（下）

跨字段逻辑规则、跨表引用规则、自定义脚本规则、规则优先级与冲突管理。

高级规则冲突管理

数据质量规则引擎

规则引擎架构设计、解析执行、规则编排、版本管理与热加载机制。

规则引擎架构

数据质量监控与告警

监控架构设计、实时/离线监控、告警阈值设置、多渠道通知（邮件、钉钉、短信）。

数据质量仪表盘与可视化

DQ Dashboard设计原则、核心图表、趋势分析、异常检测可视化与报告自动生成。

可视化仪表盘

数据质量根因分析

问题定位方法论、5Why分析法、因果图、数据血缘追踪与日志分析。

根因分析5Why

数据清洗与修复

缺失值处理、异常值处理、重复数据去重、数据标准化等修复策略。

数据质量与数据治理

DAMA/DCAM框架、数据标准、数据字典、元数据管理与数据质量的关系。

数据治理框架

数据血缘与溯源

血缘定义、采集技术（SQL解析、日志解析）、可视化、影响分析与回溯分析。

数据质量与数据仓库

数仓分层架构质量管控、ETL/ELT质量检查、维度建模中的质量保障。

数据仓库ETL

数据质量与数据湖

数据湖质量挑战、Schema-on-Read vs Schema-on-Write、湖仓一体质量策略。

数据湖湖仓一体

数据质量与实时数据流

实时流处理质量挑战、Kafka消息质量监控、Flink/Spark Streaming质量检查。

数据质量工具选型

开源工具（Great Expectations、Deequ、Apache Griffin）与商业工具（Informatica、Talend）对比。

工具选型对比

Great Expectations实战（上）

GE架构与核心概念、Expectation Suite定义、Data Context配置、数据源连接。

Great Expectations实战

Great Expectations实战（下）

自定义Expectation、Checkpoint配置、Data Docs生成、CI/CD集成。

Deequ架构、Constraint定义、Analysis与Verification、Metrics Repository、Suggestion Mode。

Apache Griffin实战

Griffin架构、Measure与Job配置、Spark集成、Hive数据质量评估、可视化仪表盘。

数据质量测试策略

单元测试、集成测试、回归测试、数据质量测试金字塔、测试数据管理。

数据质量SLA与治理流程

SLA定义与协商、质量评审流程、问题升级机制、质量责任矩阵（RACI）。

数据质量团队建设

组织架构设计、角色分工、技能要求、跨部门协作、质量文化建设。

数据质量在AI/ML中的应用

特征质量、训练数据质量、模型监控中的数据质量、数据漂移检测。

AI/ML数据漂移

数据质量合规与安全

GDPR/CCPA要求、数据脱敏与质量、审计追踪、隐私保护下的质量保障。

数据质量成熟度模型

CMMI-DQ、DQMM模型、成熟度评估方法、改进路线图。

成熟度评估

数据质量工程实战案例与未来趋势

金融/电商/医疗行业案例、AI驱动数据质量、Data Observability、Data Contract。