VIP20
本课程属于：064-风控数据质量收益沙盘推演 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka数据质量监控与预警实战课

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
数据质量的重要性 · Kafka在数据管道中的角色 · 课程目标与学习路径
课程导论数据质量的重要性
02
Kafka核心概念回顾
Topic · Partition · Producer
Kafka核心概念回顾
03
数据质量维度
完整性 · 准确性 · 一致性
数据质量维度完整性
04
常见数据质量问题
消息丢失 · 消息重复 · 乱序
常见数据质量问题消息丢失
05
监控体系设计
分层监控架构（基础设施层 · Broker层 · Topic层
监控体系设计分层监控架构
06
Kafka内置监控指标
JMX指标详解（BytesIn/Ou… · MessagesIn/Out · Request Metrics
Kafka内置监控指标
07
Prometheus + Grafana 监控搭建
JMX Exporter部署 · Prometheus配置 · Grafana仪表盘设计
PrometheusGrafana
08
消息完整性监控
生产者ACK机制 · 消费者Offset提交策略 · ISR同步状态监控
消息完整性监控ACK
09
消息重复与去重监控
幂等生产者原理 · 事务API · 消费者端去重策略
消息重复去重监控
10
消息延迟监控
端到端延迟 · 生产延迟 · 消费延迟
消息延迟监控端到端延迟
11
消息格式与Schema校验
Avro/Protobuf/JSON… · 序列化/反序列化失败监控 · Schema兼容性检查
Schema消息格式
12
数据一致性监控
Exactly-Once语义实现 · 事务协调器监控 · 事务超时与中止监控
数据一致性监控Exactly-Once
13
Topic与Partition健康监控
分区Leader选举频率 · 分区副本同步滞后 · 分区数量与分布均衡度
TopicPartition
14
消费者Lag监控
Lag计算原理 · Consumer Lag Expor… · Lag趋势分析
Lag消费者
15
生产者性能与质量监控
发送速率 · 失败率 · 重试次数
生产者性能质量监控
16
数据血缘与溯源
消息头注入（TraceId · SpanId） · 消息元数据追踪
数据血缘溯源
17
告警规则设计
告警级别定义（P0/P1/P2） · 阈值设定原则 · 告警静默与抑制
告警规则设计P0/P1/P2
18
告警通知渠道集成
邮件 · 钉钉/飞书/企业微信Webhook · 短信
告警通知渠道集成邮件
19
告警平台搭建
Alertmanager配置 · 路由规则 · 分组与抑制
告警平台搭建Alertmanager
20
数据质量SLA定义
SLA指标（延迟 · 完整性 · 准确性）
SLA数据质量
21
数据质量仪表盘设计
Grafana多维度仪表盘（实时/历… · 质量评分卡 · Top N问题排行
数据质量仪表盘设…Grafana
22
异常检测与智能告警
基于统计的异常检测（移动平均 · 标准差） · 基于机器学习的异常检测（Isolat…
异常检测智能告警
23
数据质量自动化修复
重试机制 · 死信队列（DLQ）设计 · 自动补偿策略
数据质量自动化修…重试机制
24
数据质量测试框架
单元测试（Schema验证） · 集成测试（端到端管道） · 混沌工程（注入故障）
数据质量测试框架Schema
25
大规模集群监控优化
监控数据采样 · 聚合与降采样 · 监控数据存储（VictoriaMet…
大规模集群监控优…监控数据采样
26
多集群与跨数据中心监控
多集群统一监控 · 跨DC延迟监控 · 全局视图与告警聚合
多集群跨数据
27
数据质量治理平台
元数据管理 · 质量规则引擎 · 质量报告与审计
数据质量治理平台元数据管理
28
实战案例一
电商订单数据管道质量监控（完整流程从…
实战案例一电商订单数据管道…
29
实战案例二
日志采集管道数据质量监控（海量日志场…
实战案例二日志采集管道数据…
30
课程总结与展望
最佳实践总结 · Kafka未来演进（KIP-xxx） · 数据质量领域趋势
课程总结最佳实践总结