VIP20
本课程属于：052-后端安全合规尾延迟压测 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka批量发送与性能调优尾延迟压测工程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与工程背景
Kafka在实时数据管道中的核心地位 · 为什么需要批量发送与尾延迟压测 · 本课程目标与学习路径
课程导论工程背景
02
Kafka核心概念回顾
Topic · Partition · Producer
Kafka核心概念回顾
03
Kafka生产者架构深度解析
生产者客户端组件 · RecordAccumulator · Sender线程
Kafka生产者架构深度解…
04
批量发送原理（上）
batch.size与linger.… · 消息在RecordAccumulat…
批量发送原理batch.size
05
批量发送原理（下）
压缩算法（gzip/snappy/l… · 批次大小与吞吐量的关系
批量发送原理gzip/snappy/…
06
Kafka生产者重要参数调优（一）
acks · retries · max.in.flight.requ…
Kafka生产者重要参数调…
07
Kafka生产者重要参数调优（二）
buffer.memory · compression.type · max.request.size
Kafka生产者重要参数调…
08
Kafka生产者重要参数调优（三）
partitioner.class · interceptor.classe… · transactional.id
Kafka生产者重要参数调…
09
批量发送代码实战（Java）
构建KafkaProducer · 配置批量参数 · 同步/异步发送
Java批量发送代码实战
10
批量发送代码实战（Python）
使用confluent-kafka-… · flush与poll机制
Python批量发送代码实战
11
批量发送代码实战（Go）
使用sarama库实现批量发送 · ProducerMessage与As…
Go批量发送代码实战
12
性能指标与监控体系
吞吐量（TPS） · 平均延迟 · 尾延迟（P99/P999）
性能指标监控体系
13
尾延迟（Tail Latency）概念与重要性
长尾效应 · P99/P999定义 · 尾延迟对业务SLA的影响
TailLatency
14
尾延迟产生根因分析
Page Cache抖动 · GC停顿 · 网络拥塞
尾延迟产生根因分…Page
15
压测工程架构设计
压测目标定义 · 压测数据模型 · 压测拓扑（Producer -> B…
压测工程架构设计压测目标定义
16
压测工具选型与搭建
JMeter · kafka-producer-per… · 自定义压测框架（基于Java/Pyt…
压测工具选型搭建
17
压测脚本编写（一）
基于Java的压测框架搭建 · 线程池管理 · 统计指标收集（HdrHistogra…
压测脚本编写Java
18
压测脚本编写（二）
基于Python的异步压测脚本 · asyncio + aiokafka · 实时指标输出
压测脚本编写Python
19
压测执行与数据采集
不同batch.size/linge… · 采集TPS与P99/P999延迟
压测执行数据采集
20
压测结果可视化
使用Prometheus + Gra… · 延迟分布直方图
压测结果可视化Prometheus
21
批量大小对尾延迟的影响实验
固定linger.ms · 变化batch.size（16KB/… · 观察P99变化
批量大小对尾延迟…linger.ms
22
linger.ms对尾延迟的影响实验
固定batch.size · 变化linger.ms（0/5/10… · 观察吞吐与延迟权衡
linger.ms对尾延迟的影响实…
23
压缩算法对性能的影响实验
对比无压缩/gzip/snappy/…
压缩算法对性能的…gzip/snappy
24
acks参数对尾延迟的影响实验
acks=0 vs acks=1 v… · 结合min.insync.repli…
acks参数对尾延迟的影…
25
内存与GC调优
Producer端buffer.me… · JVM堆大小与GC策略（G1/ZGC…
GC内存
26
操作系统与网络调优
Socket缓冲区大小 · tcp_nodelay · 网卡多队列
操作系统网络调优
27
Kafka Broker端调优
num.io.threads · num.network.thread… · log.flush.interval
KafkaBroker
28
综合调优案例实战
从压测结果反推参数调整 · 逐步降低P99延迟从500ms到50…
综合调优案例实战从压测结果反推参…
29
压测报告编写与最佳实践
报告模板 · 关键指标解读 · 调优建议
压测报告编写最佳实践
30
课程总结与进阶方向
Kafka 3.x新特性（KRaft · 弹性伸缩） · 云原生Kafka（Strimzi/C…
课程总结进阶方向