VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时数仓全链路数据质量监控

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数仓概述

实时数仓的演进历程、Lambda架构与Kappa架构对比、实时数仓的应用场景。

数据质量概念

数据质量六大维度（完整性、准确性、一致性、及时性、唯一性、有效性）、数据质量在实时场景下的挑战。

实时数据采集层监控

Kafka数据源监控、采集延迟监控、数据丢失率监控、采集端异常告警。

实时数据接入层监控

Canal/Debezium CDC监控、数据格式校验、Schema变更监控、接入吞吐量监控。

实时数据缓冲层监控

消息队列积压监控、消息体大小监控、分区均衡性监控、消费位移监控。

实时数据计算层监控（Flink）

Flink Checkpoint监控、背压监控、算子延迟监控、数据倾斜监控。

实时数据存储层监控

ClickHouse/Doris写入性能监控、数据一致性校验、存储水位监控、查询超时监控。

实时数据服务层监控

数据接口响应时间监控、数据新鲜度监控、服务可用性监控、限流与降级策略。

数据质量规则引擎

规则定义与分类、规则配置中心、规则动态下发、规则执行引擎设计。

数据质量度量指标体系

DQI（数据质量指标）设计、SLA/SLO定义、质量评分模型、质量趋势分析。

实时数据血缘追踪

数据血缘概念、实时血缘采集技术、血缘可视化展示、血缘在质量溯源中的应用。

数据质量告警系统

告警分级策略、告警通知渠道（钉钉/企微/邮件）、告警抑制与聚合、告警自愈机制。

实时数据质量看板

看板设计原则、核心质量指标展示、实时监控大屏、下钻分析能力。

数据质量元数据管理

元数据采集与存储、元数据与质量规则关联、元数据版本管理、元数据血缘。

元数据版本

数据质量测试策略

单元测试、集成测试、端到端测试、混沌工程在质量保障中的应用。

实时数据质量基准测试

基准线建立、性能基准测试、质量基准测试、回归测试自动化。

数据质量运营体系

质量运营流程、问题跟踪与闭环、质量周报/月报、持续改进机制。

实时数据质量工具链

Apache Griffin、Deequ、Great Expectations等工具对比与选型。

基于Apache Griffin的实时质量监控

Griffin架构解析、Griffin实时测量配置、Griffin与Kafka集成。

基于Deequ的数据质量验证

Deequ核心概念、约束定义、分析器使用、数据验证报告生成。

基于Great Expectations的实时质量

GE核心概念、Expectation配置、Checkpoint设计、实时数据验证。

实时数据质量数据湖方案

Delta Lake/Lakehouse架构下的质量保障、ACID事务与质量、时间旅行与数据回滚。

实时数据质量与数据治理

数据目录集成、数据字典管理、数据分类分级、质量与安全联动。

实时数据质量在金融场景的实践

风控数据质量要求、交易数据实时校验、合规审计数据质量。

实时数据质量在电商场景的实践

订单数据质量监控、库存数据一致性、用户行为数据质量。

实时数据质量在IoT场景的实践

传感器数据质量、时序数据异常检测、设备数据完整性。

实时数据质量监控架构设计

全链路架构设计、技术选型、高可用设计、容量规划。

架构高可用

实时数据质量监控平台开发实战

后端服务设计、前端看板开发、API设计、数据库设计。

实时数据质量监控平台部署与运维

容器化部署、监控告警配置、日志收集、性能调优。

实时数据质量监控未来趋势

AI驱动的质量预测、Data Observability、Data Mesh下的质量挑战。