VIP20
本课程属于：049-API设计治理Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

API设计治理：Kafka堆积场景下的性能调优实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
Kafka堆积问题的定义 · 堆积对API治理的影响 · 课程目标与学习路径
课程导论Kafka
02
Kafka核心架构回顾
Topic · Partition · Broker
Kafka核心架构回顾
03
堆积场景的典型表现
消费延迟 · 消息积压 · 磁盘IO飙升
堆积场景的典型表…消费延迟
04
堆积根因分析框架
从Producer · Broker · Consumer三个维度定位问题
堆积根因分析框架Producer
05
Producer端调优
批量发送 · 压缩算法选择 · acks与retries配置策略
Producer端调优
06
Broker端调优
分区数规划 · 副本因子 · 日志段配置
Broker端调优
07
Consumer端调优
拉取大小 · 提交偏移量策略 · 并发消费与线程模型
Consumer端调优
08
消费者Rebalance优化
静态分组 · 协调器超时 · 分区分配策略选择
Rebalance消费者
09
消息键与分区策略
自定义分区器 · 避免数据倾斜 · 粘性分区器原理
消息键分区策略
10
监控与告警体系
JMX指标 · Prometheus+Grafana… · 关键阈值设定
监控告警体系
11
堆积检测工具实战
kafka-consumer-gro… · Lag监控 · 时间戳偏移量查询
堆积检测工具实战kafka-consum…
12
API治理视角下的堆积影响
接口响应超时 · 数据一致性受损 · SLA违约
API治理视角下的堆积…
13
API设计规范与堆积预防
幂等性设计 · 异步回调 · 限流与背压机制
API设计规范
14
消息体设计优化
序列化格式选择 · Schema Registry使用 · 避免大消息
消息体设计优化序列化格式选择
15
批量消费与流式处理
批量拉取 · 滑动窗口 · Exactly-Once语义实现
批量消费流式处理
16
死信队列与重试机制
重试Topic设计 · 死信队列路由 · 人工介入流程
死信队列重试机制
17
多消费者组隔离
业务隔离 · 优先级消费 · 共享Topic下的组管理
多消费者组隔离业务隔离
18
Kafka Connect与堆积
Source/Sink连接器调优 · 任务并行度 · 错误处理
KafkaConnect
19
Kafka Streams状态存储
状态存储大小 · RocksDB调优 · 变更日志Topic
KafkaStreams
20
集群扩容与分区重分配
增加Broker · 分区迁移 · 数据再平衡策略
集群扩容分区重分配
21
磁盘与网络瓶颈排查
磁盘IO延迟 · 网络带宽 · 操作系统参数调优
磁盘网络瓶颈排查
22
内存与GC调优
堆内存设置 · GC算法选择 · 避免Full GC导致堆积
GC内存
23
安全认证对性能的影响
SSL/TLS开销 · SASL机制选择 · ACL缓存
安全认证对性能的…SSL/TLS
24
跨数据中心复制
MirrorMaker2调优 · 复制延迟 · 带宽控制
跨数据心复制
25
压测与容量规划
使用kafka-producer-p… · kafka-consumer-per… · 预估吞吐量
压测容量规划
26
自动化运维脚本
堆积自动检测 · 动态调整消费者 · 告警自愈
自动化运维脚本堆积自动检测
27
案例实战一
电商订单系统堆积排查与恢复
案例实战一电商订单系统堆积…
28
案例实战二
日志采集系统堆积与API网关联动调优
案例实战二API
29
案例实战三
金融交易系统堆积与Exactly-O…
案例实战三Exactly-O
30
课程总结与最佳实践
API治理与Kafka调优融合 · 持续优化路线图
课程总结最佳实践