VIP20
本课程属于：064-风控数据质量收益沙盘推演 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka实时数据质量监控搭建指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
为什么需要Kafka实时数据质量监控 · 课程目标与适用人群 · 整体技术栈概览
课程导论Kafka
02
Kafka核心概念回顾
Topic · Partition · Offset
Kafka核心概念回顾
03
数据质量维度定义
完整性 · 准确性 · 一致性
数据质量维度定义完整性
04
监控架构设计
分层架构（采集层 · 计算层 · 存储层
监控架构设计分层架构
05
环境准备
JDK · Zookeeper · Kafka集群搭建（单机/伪分布式/…
环境准备JDK
06
Kafka命令行工具实战
创建Topic · 查看Offset · 生产消费消息
Kafka命令行工具实战
07
数据质量指标采集方案
基于Kafka内置指标（JMX）与自…
数据质量指标采集…Kafka
08
Prometheus + JMX Exporter
配置Kafka暴露JMX指标 · Prometheus抓取配置详解
PrometheusJMX
09
Grafana可视化看板
导入Kafka官方Dashboard · 自定义数据质量监控面板
Grafana可视化看板
10
消息延迟监控
计算Producer发送时间与Con… · 定义延迟阈值
消息延迟监控Producer
11
消息丢失检测
基于Offset连续性检测 · 超时未消费检测 · 死信队列机制
消息丢失检测Offset
12
消息重复检测
利用全局唯一ID（UUID/雪花ID… · Redis布隆过滤器方案
消息重复检测ID
13
数据格式校验
Schema Registry +… · 校验消息字段类型与必填项
数据格式校验Schema
14
数据完整性校验
消息体Hash校验 · 字段非空率统计 · 记录数计数对比
数据完整性校验Hash
15
数据一致性校验
源端与目标端字段值对比 · 跨Topic Join校验 · 时间戳对齐
数据一致性校验源端
16
实时计算引擎选型
Flink vs Spark Str… · 适用场景对比
实时计算引擎选型Flink
17
Flink实时质量计算实战
读取Kafka · 定义质量规则CEP · 输出异常到Kafka
Flink实时质量计算实战
18
Kafka Streams实时质量计算实战
使用KTable做去重 · KStream做延迟计算
KafkaStreams
19
异常消息存储
将质量异常消息写入Elasticse… · 构建可检索的异常库
异常消息存储Elasticse
20
告警系统集成
对接Prometheus Alert… · 飞书/钉钉/邮件告警模板
告警系统集成Prometheus
21
质量评分模型
定义每条消息的质量分数（0-100） · 加权计算Topic整体健康度
质量评分模型定义每条消息的质…
22
历史趋势分析
将质量指标写入时序数据库（Influ… · 分析长期趋势
历史趋势分析Influ
23
数据质量SLA定义
定义可用性 · 延迟P99 · 丢失率等SLA指标
SLA数据质量
24
多集群统一监控
通过Kafka MirrorMake… · 统一监控看板设计
多集群统一监控Kafka
25
自动化修复策略
基于质量规则自动重试 · 降级 · 隔离异常Partition
自动化修复策略基于质量规则自动…
26
性能优化
减少监控对业务Topic的影响 · 使用独立监控Topic · 异步上报
性能优化Topic
27
安全与权限
Kafka ACL控制监控用户权限 · 防止监控数据泄露
安全权限
28
混沌工程测试
模拟网络延迟 · Broker宕机 · 消息积压
混沌工程测试模拟网络延迟
29
生产环境部署最佳实践
资源估算 · JVM调优 · 日志策略
生产环境部署最佳…资源估算
30
课程总结与展望
数据网格 · 数据湖与Kafka质量监控的未来趋势
课程总结数据网格