VIP20

本课程属于：022-数据质量平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据质量质量平台与数据仓库集成实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

数据质量的定义、重要性及核心维度：准确性、完整性、一致性、及时性、唯一性。

数据仓库基础

数据仓库概念、星型与雪花模型架构、ETL流程简介，构建坚实的数据底座。

数据质量平台架构设计

整体架构、核心模块（监控/告警/修复/报告）及技术选型：Griffin、Great Expectations、Deequ。

数据质量规则引擎

规则定义与分类（空值、唯一性、范围、格式检查），规则配置管理与执行引擎设计。

数据质量度量与指标

度量模型设计、关键质量指标(KQI)、指标计算聚合与可视化呈现。

数据质量监控与告警

监控策略设计、实时/离线监控，告警规则及多渠道通知（邮件、短信、钉钉/企微）。

数据质量报告与仪表盘

报告生成机制、自动化报告、仪表盘设计（ECharts、Superset）。

可视化报告

数据质量修复机制

自动修复策略、手动修复流程、任务调度与修复效果验证。

数据血缘与影响分析

数据血缘概念、采集存储、上游依赖与下游影响分析。

元数据管理与数据质量

元数据基础、与质量规则关联、元数据驱动质量检查。

元数据驱动

数据质量与数据治理

数据治理框架、质量在治理中的角色、数据标准与质量规范。

数据质量平台与数据仓库集成方案

集成架构设计、数据源接入(JDBC/Kafka/HDFS)、质量检查点嵌入ETL流程。

基于Apache Griffin的实践

Griffin架构、安装配置、作业定义执行与指标可视化。

基于Great Expectations的实践

核心概念、Expectation配置、Data Docs生成与Airflow集成。

Great ExpectationsAirflow

基于Deequ的实践

Deequ简介、Analyzer与Constraint、Verification Suite、Spark作业集成。

数据质量测试策略

单元测试、集成测试、端到端测试与测试数据管理。

数据质量自动化流水线

CI/CD集成、质量门禁(Quality Gate)、自动化回归测试。

实时数据质量监控

流式数据质量检查、Kafka Streams/Flink集成、实时告警处理。

数据质量SLA管理

SLA定义、监控、违约处理与SLA报告。

数据质量成本优化

计算/存储/检查频率优化与成本监控。

数据质量平台安全与权限

认证授权、数据脱敏、审计日志与安全合规。

数据质量平台高可用与容灾

高可用架构、故障转移、数据备份恢复与灾难演练。

高可用容灾

数据质量平台性能优化

查询优化、缓存策略、并行处理与资源调度。

数据质量平台运维与监控

平台自身监控、日志管理、性能监控与容量规划。

数据质量平台API设计

RESTful API设计、Swagger文档、版本管理与安全。

数据质量平台与数据湖集成

数据湖概念、质量挑战、Delta Lake/Lakehouse质量检查。

数据湖Delta Lake

数据质量平台与数据中台集成

数据中台架构、质量服务化、数据资产与质量联动。

中台服务化

数据质量平台与BI工具集成

Tableau/Power BI集成、质量数据嵌入报表、自助分析。

数据质量平台案例实战

电商、金融、医疗场景质量实践与经验总结。

数据质量平台未来趋势

AI驱动质量、Data Observability、Data Mesh与Data Contract。