VIP20
本课程属于：049-API设计治理Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

API设计治理：Kafka堆积排查中的性能调优路径

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Kafka堆积概述
什么是消息堆积 · 堆积对API治理的影响 · 堆积的典型业务场景
Kafka堆积概述
02
Kafka核心架构回顾
Producer · Broker · Consumer
Kafka核心架构回顾
03
堆积排查前置准备
监控指标采集 · Prometheus+Grafana… · Kafka Exporter部署
堆积排查前置准备监控指标采集
04
堆积定位第一步
查看Consumer Lag · Lag趋势分析 · Lag与吞吐量的关系
堆积定位第一步Consumer
05
堆积定位第二步
分析Consumer端日志 · Rebalance日志 · 心跳超时日志
堆积定位第二步Consumer
06
堆积定位第三步
检查Broker端日志 · 磁盘IO · 网络IO
堆积定位第三步Broker
07
堆积定位第四步
Producer端排查 · 发送速率 · 批次大小
堆积定位第四步Producer
08
性能调优总览
调优路径图 · 调优优先级 · 调优效果评估方法
性能调优总览调优路径图
09
Consumer调优-线程模型
单线程 vs 多线程 · 线程池配置 · 并发消费策略
Consumer调优
10
Consumer调优-批量消费
max.poll.records · fetch.min.bytes · fetch.max.wait.ms
Consumer调优
11
Consumer调优-提交偏移量
自动提交 vs 手动提交 · 同步提交 vs 异步提交 · Exactly-Once语义
Consumer调优
12
Consumer调优-分区分配策略
RangeAssignor · RoundRobinAssignor · StickyAssignor
Consumer调优
13
Consumer调优-心跳与超时
session.timeout.ms · heartbeat.interval… · max.poll.interval.…
Consumer调优
14
Producer调优-异步发送
send()回调 · 批量发送 · linger.ms
Producer调优
15
Producer调优-压缩与序列化
压缩算法选择（gzip/snappy… · 序列化性能对比
Producer调优
16
Producer调优-确认机制
acks=0/1/all · 重试次数 · 幂等性
Producer调优
17
Broker调优-磁盘与文件系统
磁盘类型选择 · 页缓存调优 · 日志段配置
Broker调优
18
Broker调优-网络与线程
num.network.thread… · num.io.threads · 网络带宽限制
Broker调优
19
Broker调优-分区与副本
分区数规划 · 副本因子 · ISR配置
Broker调优
20
Broker调优-日志清理与压缩
log.retention.ms · log.segment.bytes · log.cleaner配置
Broker调优
21
Topic调优-分区数设计
分区数计算公式 · 分区数与吞吐量的关系 · 分区数过多的问题
Topic调优
22
Topic调优-消息大小
max.message.bytes · message.max.bytes · 分段传输策略
Topic调优
23
Topic调优-键与分区策略
键哈希 · 自定义分区器 · 粘性分区策略
Topic调优
24
网络调优
操作系统TCP参数 · Socket缓冲区 · Nagle算法
网络调优TCP
25
JVM调优
堆内存设置 · GC算法选择 · G1GC调优
JVM调优
26
客户端调优-连接管理
连接池 · 连接复用 · 连接超时
客户端调优连接管理
27
客户端调优-重试与退避
指数退避策略 · 重试次数限制 · 重试风暴预防
客户端调优重试
28
监控与告警体系
Lag告警阈值 · 吞吐量告警 · 异常Consumer告警
监控告警体系
29
实战案例一
电商大促场景堆积排查与调优全流程
实战案例一电商大促场景堆积…
30
实战案例二
日志采集场景堆积排查与调优全流程
实战案例二日志采集场景堆积…