VIP20

本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体架构下的数据质量保障

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

什么是数据质量、数据质量为什么重要、数据质量在流批一体架构中的挑战。

数据质量维度

完整性、准确性、一致性、及时性、唯一性、有效性。

流批一体架构基础

Lambda架构、Kappa架构、流批一体核心理念。

数据质量保障体系总览

事前预防、事中监控、事后修复。

体系全流程

数据血缘与元数据管理

数据血缘概念、元数据采集、在质量保障中的作用。

血缘元数据

数据质量规则引擎

规则定义、规则分类、规则管理平台。

实时数据质量监控

基于Flink的实时质量监控、延迟监控、乱序数据处理。

离线数据质量监控

基于Spark/MapReduce的批量质量校验、分区校验。

数据质量度量与指标

质量评分模型、SLA定义、监控看板设计。

数据质量告警与通知

多级告警策略、告警降噪、通知渠道集成。

数据质量修复策略

自动修复、手动修复、补偿机制。

数据质量在数据湖中的应用

Delta Lake、Apache Iceberg、Apache Hudi的质量保障。

数据质量在数据仓库中的应用

维度建模中的质量约束、ETL质量检查。

数据质量测试

单元测试、集成测试、回归测试、数据质量测试框架。

数据质量与数据治理

数据标准、数据安全、合规性。

数据质量工具选型

Great Expectations、Deequ、Apache Griffin、自研方案对比。

基于Great Expectations的实践

安装配置、Expectation编写、Data Docs生成。

基于Deequ的实践

Amazon Deequ原理、约束建议、Profiling。

基于Apache Griffin的实践

Griffin架构、Measure配置、作业调度。

流批一体数据质量平台架构设计

整体架构、模块划分、技术选型。

数据质量元数据服务设计

存储选型、API设计、与数据目录集成。

元数据服务

数据质量规则管理服务设计

规则模板、规则版本管理、规则下发。

规则管理版本

数据质量监控服务设计

实时监控引擎、离线监控引擎、监控结果存储。

数据质量告警服务设计

告警规则引擎、告警聚合、告警路由。

数据质量看板与报表设计

核心指标展示、趋势分析、下钻分析。

数据质量在实时数仓中的应用

DWD层质量保障、DWS层质量保障、ADS层质量保障。

实时数仓分层

数据质量在数据管道中的应用

Kafka质量监控、Flink作业质量监控、Sink端质量校验。

数据质量复盘与改进

根因分析、质量改进闭环、持续优化。

数据质量组织与流程

团队角色定义、质量流程规范、跨团队协作。

数据质量未来趋势

AI辅助质量检测、数据可观测性、DataOps与质量融合。