VIP20
本课程属于：049-API设计治理Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

性能调优Kafka消息积压诊断与消费优化与连接池优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Kafka性能模型
吞吐量与延迟的权衡 · 分区并行度原理 · 零拷贝技术详解
Kafka性能模型
02
消息堆积根因分析
生产者端瓶颈 · 消费者端瓶颈 · Broker端瓶颈的排查方法论
消息堆积根因分析生产者端瓶颈
03
生产者性能调优
batch.size · linger.ms · compression.type
生产者性能调优batch.size
04
消费者性能调优
fetch.min.bytes · max.poll.records · session.timeout.ms…
消费者性能调优fetch.min.by…
05
分区分配策略
RangeAssignor · RoundRobinAssignor · StickyAssignor
分区分配策略RangeAssigno…
06
Rebalance优化
静态成员分组 · Rebalance超时配置 · 避免频繁Rebalance的最佳实践
Rebalance优化
07
连接池基础
TCP连接复用原理 · Kafka客户端连接池模型 · 长连接vs短连接
连接池基础TCP
08
生产者连接池
max.in.flight.requ… · connections.max.id…
生产者连接池max.in.fligh…
09
消费者连接池
网络线程模型 · 连接数计算 · fetch请求并发控制
消费者连接池网络线程模型
10
连接池泄漏诊断
Netty内存泄漏 · 连接未关闭 · 文件句柄耗尽排查
连接池泄漏诊断Netty
11
堆积监控体系
JMX指标 · Lag监控 · Consumer Group状态监控
堆积监控体系JMX
12
Lag计算原理
HW · LEO · LogEndOffset
Lag计算原理
13
堆积告警阈值设计
基于时间窗口的动态阈值 · 分级告警策略
堆积告警阈值设计基于时间窗口的动…
14
消费能力评估
单分区吞吐量测试 · 消费者组扩容策略
消费能力评估单分区吞吐量测试
15
分区重平衡
手动分区分配 · 分区迁移 · 分区副本调整
分区重平衡手动分区分配
16
消费幂等与去重
Exactly-Once语义 · 事务API · 幂等生产者配置
消费幂等去重
17
批量消费优化
批量拉取 · 批量处理 · 批量提交Offset
批量消费优化批量拉取
18
异步消费模型
多线程消费 · 线程池隔离 · 顺序消费保证
异步消费模型多线程消费
19
背压机制
Reactive Streams · 限流策略 · 背压与堆积的关系
背压机制Reactive
20
磁盘I/O瓶颈
页缓存优化 · 磁盘选型 · 日志分段策略
I/O磁盘
21
网络瓶颈
带宽估算 · 网卡调优 · TCP参数优化
网络瓶颈带宽估算
22
内存瓶颈
堆内存 · 直接内存 · PageCache调优
内存瓶颈堆内存
23
CPU瓶颈
序列化/反序列化 · 压缩/解压缩 · GC优化
CPU瓶颈
24
Broker端连接数优化
max.connections · max.connections.pe… · 连接限流
Broker端连接数优化
25
客户端连接池复用
KafkaProducer单例 · KafkaConsumer单例 · 连接池共享
客户端连接池复用KafkaProduce…
26
连接池健康检查
心跳机制 · 连接超时重试 · 断线重连策略
连接池健康检查心跳机制
27
连接池参数调优
max.idle · min.idle · testOnBorrow
连接池参数调优max.idle
28
全链路压测
压测工具选型 · 压测场景设计 · 性能基线建立
全链路压测压测工具选型
29
典型故障案例
堆积导致OOM · 连接池耗尽 · Rebalance风暴
典型故障案例OOM
30
性能调优总结
调优流程 · Checklist · 持续优化方法论
性能调优总结调优流程