VIP20

本课程属于：022-数据质量平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据质量流批一体质量检测体系搭建

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

流批一体概念、为什么需要流批一体、流批一体 vs Lambda架构 vs Kappa架构。

概念架构对比

质量检测体系总览

数据质量维度（完整性、准确性、一致性、及时性、唯一性）、体系架构分层。

实时数据源接入

Kafka 作为实时数据源、Topic 设计与分区策略、消费者配置要点。

批量数据源接入

HDFS / Hive 作为批量数据源、分区表设计、增量与全量策略。

数据采集层质量检测

Schema 校验、空值检测、字段类型校验、时间戳合法性。

数据缓冲层设计

Kafka 作为缓冲层、消息去重机制、消息积压监控。

实时计算引擎选型

Flink vs Spark Streaming、状态后端选择、Checkpoint 配置。

批量计算引擎选型

Spark SQL vs Hive on Tez、动态资源分配、Shuffle 调优。

流批统一数据模型

Avro / Protobuf 序列化、Schema Registry 使用、兼容性策略。

流批统一ETL逻辑

基于 SQL 的流批一体 ETL、动态表与连续查询、时态表 Join。

实时质量检测规则引擎

规则定义 DSL、规则热加载、规则优先级与分组。

规则引擎DSL

批量质量检测规则引擎

规则批量执行、历史数据回溯、规则结果持久化。

完整性检测

主键唯一性检测、外键引用完整性、必填字段非空检测。

完整性约束

准确性检测

数值范围校验、枚举值校验、正则表达式匹配、业务逻辑校验。

准确性校验

一致性检测

跨表字段一致性、源端与目标端数据比对、时间窗口内一致性。

一致性比对

及时性检测

数据延迟监控、事件时间 vs 处理时间、Watermark 配置。

及时性Watermark

唯一性检测

重复数据检测、去重策略（精确去重 vs 近似去重）、布隆过滤器应用。

质量检测结果存储

MySQL / PostgreSQL 存储检测结果、时序数据库存储指标、结果表设计。

质量检测结果可视化

Grafana 仪表盘设计、告警规则配置、异常趋势分析。

Grafana可视化

数据血缘与溯源

Atlas / DataHub 集成、字段级血缘追踪、问题数据回溯。

异常数据处理策略

死信队列设计、异常数据重试机制、人工介入流程。

流批一体数据质量报告

日报/周报自动生成、质量评分卡、趋势图与分布图。

自动化测试与回归

质量检测规则单元测试、回归测试套件、CI/CD 集成。

Flink 算子链优化、Spark 动态资源分配、Kafka 消费者并行度。

资源管理与隔离

YARN / Kubernetes 资源队列、任务优先级、资源配额。

监控与告警体系

Prometheus + Grafana 监控、自定义告警规则、告警通知渠道。

Prometheus告警

容错与高可用

Flink 精确一次语义、Spark 容错机制、Kafka 副本机制。

容错高可用

数据安全与权限

数据脱敏、字段级权限控制、审计日志。

案例实战：电商订单流批一体质量检测

实时订单质量监控、批量历史数据质量回溯。

总结与展望

流批一体质量检测体系最佳实践、未来趋势（数据湖、Iceberg、Hudi）。

总结数据湖