VIP20
本课程属于：064-风控数据质量收益沙盘推演 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka数据管道质量监控技巧课程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Kafka数据管道概述
Kafka核心概念（Topic · Partition · Broker
Kafka数据管道概述
02
数据质量监控基础
数据质量维度（完整性 · 准确性 · 一致性
数据质量监控基础数据质量维度
03
Kafka监控工具生态
JMX指标 · Kafka内置工具 · 第三方监控平台（如Confluent…
Kafka监控工具生态
04
生产者端质量监控
生产速率 · 消息大小 · 请求延迟
生产者端质量监控生产速率
05
消费者端质量监控
消费速率 · 消费延迟（Lag） · 再均衡频率
消费者端质量监控消费速率
06
Broker端质量监控
磁盘使用率 · 网络吞吐量 · 请求队列大小
Broker端质量监控
07
Topic与分区监控
分区分布均衡性 · 分区Leader分布 · 分区副本同步状态
Topic分区监控
08
消息完整性监控
消息序列号校验 · CRC校验 · 消息去重机制
消息完整性监控消息序列号校验
09
数据延迟监控
端到端延迟定义 · 延迟测量方法 · 延迟阈值设置
数据延迟监控端到端延迟定义
10
数据一致性监控
Exactly-Once语义实现 · 幂等生产者 · 事务性消息
数据一致性监控Exactly-Once
11
数据丢失检测
生产者回调异常 · 消费者偏移量异常 · 日志截断检测
数据丢失检测生产者回调异常
12
数据重复检测
幂等性配置 · 去重逻辑实现 · 重复消息识别算法
数据重复检测幂等性配置
13
Schema Registry与数据格式监控
Avro/Protobuf/JSON… · Schema兼容性检查 · Schema演进监控
SchemaRegistry
14
Kafka Connect质量监控
Connector状态 · Task状态 · Sink/Source吞吐量
KafkaConnect
15
Kafka Streams质量监控
流处理拓扑 · 状态存储大小 · 处理器节点延迟
KafkaStreams
16
日志与审计
Kafka日志级别配置 · 操作审计日志 · 消息轨迹追踪
日志审计
17
告警策略设计
告警级别定义 · 告警规则配置（阈值 · 趋势
告警策略设计告警级别定义
18
监控数据可视化
Grafana仪表盘设计 · 关键指标图表（吞吐量 · 延迟
监控数据可视化Grafana
19
自动化巡检与健康检查
定期巡检脚本设计 · 健康检查API · 集群自愈机制
自动化巡检健康检查
20
性能基准测试与容量规划
基准测试工具（如kafka-prod… · kafka-consumer-per… · 性能指标基线
性能基准测试容量规划
21
异常检测与根因分析
常见异常模式（如慢消费者 · 磁盘满 · 网络分区）
异常检测根因分析
22
多集群监控与联邦架构
跨数据中心复制（MirrorMake… · 多集群监控聚合 · 全局视图与局部视图
多集群监控联邦架构
23
安全监控
SSL/TLS证书过期监控 · SASL认证失败监控 · ACL权限变更监控
安全监控SSL/TLS
24
数据管道SLA管理
SLA指标定义（如P99延迟 · 数据可用性） · SLA违反检测
SLA数据管道
25
监控数据存储与历史分析
监控数据持久化（如InfluxDB · Prometheus） · 历史趋势分析
监控数据存储历史分析
26
混沌工程与韧性测试
故障注入（如Broker宕机 · 网络延迟） · 系统韧性验证
混沌工程韧性测试
27
数据质量监控最佳实践
监控粒度选择 · 指标聚合策略 · 监控数据采样
数据质量监控最佳…监控粒度选择
28
案例实战
电商订单数据管道监控：业务场景描述 · 监控指标设计 · 告警规则配置
案例实战电商订单数据管道…
29
案例实战
日志聚合数据管道监控：日志采集 · 传输 · 存储全链路监控
案例实战日志聚合数据管道…
30
课程总结与未来展望
关键知识点回顾 · 新兴技术趋势（如Kafka on K… · Serverless Kafka）
课程总结未来展望