VIP20
本课程属于：088-金融压力测试异常波动复盘 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka异常波动数据回溯与压力测试实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
Kafka在实时数据管道中的核心地位 · 异常波动对生产环境的破坏性影响 · 本课程的学习目标与适用人群
课程导论Kafka
02
Kafka基础架构回顾
Broker · Topic · Partition
Kafka基础架构回顾
03
Kafka核心配置参数
关键性能参数（batch.size · linger.ms · acks
Kafka核心配置参数
04
异常波动定义与分类
什么是Kafka异常波动（延迟抖动 · 吞吐量骤降 · 分区Leader选举风暴
异常波动定义分类
05
数据回溯技术原理
基于Offset的精确回溯 · 基于时间戳的时间旅行回溯 · 基于Kafka Connect的增量…
数据回溯技术原理Offset
06
环境搭建与工具链准备
Docker Compose部署Ka… · 安装Kafka Tools · JMX监控与Prometheus+G…
环境搭建工具链准备
07
模拟异常场景一
网络延迟与分区故障 · 模拟分区副本不可用 · 观察生产消费端行为
模拟异常场景一网络延迟
08
模拟异常场景二
磁盘IO打满与PageCache污染 · 分析Kafka刷盘策略与性能退化曲线
模拟异常场景二IO
09
模拟异常场景三
消费者Rebalance风暴 · 调整session.timeout.… · 观察重平衡对消费延迟的影响
模拟异常场景三Rebalance
10
模拟异常场景四
消息积压与背压效应 · 消费者处理能力不足 · 分析Lag增长与端到端延迟
模拟异常场景四消息积压
11
数据回溯实战一
基于Offset的精确重放 · 指定partition与offset…
数据回溯实战一Offset
12
数据回溯实战二
基于时间戳的区间回溯 · 回溯特定时间窗口内的消息
数据回溯实战二基于时间戳的区间…
13
数据回溯实战三
使用Kafka Connect实现全…
数据回溯实战三Kafka
14
压力测试基础
吞吐量 · 延迟 · 持久性三角关系
压力测试基础吞吐量
15
压测工具选型与对比
Kafka自带的kafka-prod… · kafka-consumer-per… · 开源工具(如Akka
压测工具选型对比
16
生产者压力测试实战
编写压测脚本 · 调整batch.size · compression.type
生产者压力测试实…编写压测脚本
17
消费者压力测试实战
测试单线程 · 多线程 · 分区并发消费模式
消费者压力测试实…测试单线程
18
端到端压力测试
构建生产者-消费者闭环链路 · 使用JMX监控Broker端指标 · 分析全链路瓶颈点
端到端压力测试构建生产者
19
异常注入与压测结合
在压测过程中动态注入网络延迟 · 磁盘故障 · Leader选举
异常注入压测结合
20
压测结果分析
解读吞吐量曲线 · 延迟分布直方图 · GC暂停对延迟的影响
压测结果分析解读吞吐量曲线
21
数据回溯与压测的联动
在压测产生大量数据后 · 执行数据回溯验证数据完整性 · 评估回溯效率与资源消耗
数据回溯压测的联动
22
监控与告警体系
关键指标（BytesInPerSec · BytesOutPerSec · TotalTimeMs
监控告警体系
23
日志与诊断
Kafka Server日志级别动态… · 请求跟踪(Request.Flow) · 慢消费者日志分析
日志诊断
24
常见异常案例复盘一
磁盘写满导致日志段删除失败 · 分区Offline · 回溯恢复流程
常见异常案例复盘…磁盘写满导致日志…
25
常见异常案例复盘二
Controller频繁选举导致元数… · 压测期间触发 · 分析根因与优化方案
常见异常案例复盘…Controller
26
常见异常案例复盘三
消费者Offset提交失败导致重复消… · 结合回溯进行数据去重
常见异常案例复盘…Offset
27
性能调优策略
操作系统层面（页缓存 · swap · 文件系统）
性能调优策略操作系统层面
28
高可用架构设计
跨机房容灾 · MirrorMaker2异步复制 · Kafka Raft (KRaft)…
高可用架构设计跨机房容灾
29
自动化测试框架
基于Python/Shell编写自动… · 集成到CI/CD流水线
自动化测试框架Python/Shell
30
课程总结与最佳实践
异常波动应对SOP · 压测报告模板 · 持续混沌工程建议
课程总结最佳实践