VIP20

本课程属于：022-数据质量平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据质量平台实战入门

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量平台概述

什么是数据质量、为什么需要数据质量平台、核心功能与架构。

数据质量维度详解

完整性、准确性、一致性、及时性、唯一性、有效性。

数据质量度量指标体系

如何定义指标、常用指标公式、指标分级管理。

数据质量平台技术选型

开源方案对比（Great Expectations、Deequ、DQM）、选型考量因素。

环境搭建与部署

基于Docker的快速部署、配置文件详解、启动与验证。

数据源接入

支持的数据源类型（MySQL、Hive、Kafka）、连接配置与测试。

数据源集成

数据探查与剖析

自动数据剖析、统计信息收集、数据分布可视化。

数据质量规则定义

规则引擎原理、规则模板、自定义规则开发。

完整性规则实战

非空检查、主键唯一性检查、外键引用完整性检查。

完整性实战

准确性规则实战

数值范围校验、格式校验、业务逻辑校验。

准确性校验

一致性规则实战

跨表字段一致性、枚举值一致性、编码格式一致性。

一致性跨表

及时性规则实战

数据延迟监控、数据新鲜度检查、SLA告警配置。

及时性监控

唯一性规则实战

重复数据检测、联合唯一约束、去重策略。

唯一性去重

有效性规则实战

数据格式校验、正则表达式匹配、业务规则验证。

有效性正则

数据质量监控任务配置

调度周期设置、任务依赖、重试机制。

数据质量报告与仪表盘

报告生成、可视化图表、趋势分析。

报告可视化

告警与通知机制

告警规则配置、多渠道通知（邮件、钉钉、短信）、告警升级策略。

数据质量评分卡

评分模型设计、权重分配、综合评分计算。

数据血缘与影响分析

数据血缘追踪、质量问题影响范围评估。

数据质量修复流程

自动修复策略、人工修复工单、修复验证闭环。

元数据集成

与数据目录集成、元数据同步、质量标签管理。

元数据集成

数据质量SLA管理

SLA定义、SLA监控、SLA违约处理。

多环境管理

开发、测试、生产环境隔离、配置同步、灰度发布。

大数据量下的规则执行优化、并行计算、资源调优。

安全与权限管理

RBAC权限模型、数据脱敏、审计日志。

API接口开发

RESTful API设计、质量数据查询接口、规则管理接口。

数据质量平台与数据治理

与数据治理体系融合、数据标准落地、数据资产化。

实战案例一：电商订单数据质量保障

场景分析、规则配置、监控效果。

实战案例二：金融风控数据质量保障

高要求场景、实时监控、合规要求。

数据质量平台运维与演进

日常运维、版本升级、未来趋势（AI驱动质量）。