VIP20
本课程属于：059-后端可观测性Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka堆积场景下结构化日志与性能调优实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
Kafka堆积的定义 · 堆积对业务的影响 · 课程目标与前置知识
课程导论Kafka
02
Kafka核心架构回顾
Topic · Partition · Broker
Kafka核心架构回顾
03
消息堆积的根因分析
消费端处理慢 · 生产端流量突增 · 分区分配不均
消息堆积的根因分…消费端处理慢
04
结构化日志基础
什么是结构化日志 · 与普通日志的区别 · JSON格式日志的优势
结构化日志基础什么是结构化日志
05
日志框架选型
Log4j2 · Logback · SLF4J对比
日志框架选型Log4j2
06
Kafka客户端日志配置实战
Producer端日志级别 · Consumer端日志级别 · 关键参数设置
Kafka客户端日志配置实…
07
日志采集与传输
Filebeat · Logstash · Fluentd采集Kafka日志到E…
日志采集传输
08
日志解析与字段提取
Grok模式 · Dissect模式 · JSON解析器提取关键指标
日志解析字段提取
09
堆积监控指标
Consumer Lag · BytesIn/Out · Request Time
堆积监控指标Consumer
10
Prometheus + Grafana监控搭建
JMX Exporter · Kafka Exporter · Dashboard设计
PrometheusGrafana
11
告警规则设计
基于Lag阈值 · 基于消费速率变化 · 基于错误日志频率
告警规则设计Lag
12
消费端性能调优
fetch.min.bytes · max.poll.records · session.timeout.ms…
消费端性能调优fetch.min.by…
13
批量处理与并发消费
批量拉取 · 多线程消费 · 顺序保证与并发冲突
批量处理并发消费
14
生产端性能调优
acks · linger.ms · batch.size
生产端性能调优acks
15
分区策略优化
自定义Partitioner · Key设计 · 避免数据倾斜
分区策略优化Partitioner
16
Broker端调优
num.network.thread… · num.io.threads · log.segment.bytes
Broker端调优
17
操作系统与JVM调优
Page Cache · Swap · GC策略
JVM操作系统
18
网络与IO调优
TCP参数 · Socket Buffer · 磁盘IO调度
IO网络
19
重试机制与幂等性
enable.idempotence · retries · max.in.flight.requ…
重试机制幂等性
20
死信队列与异常处理
发送失败消息处理 · 消费失败重试策略 · 死信队列设计
死信队列异常处理
21
日志驱动的性能分析
通过日志定位慢消费 · 频繁Rebalance · 请求超时
日志驱动的性能分…通过日志定位慢消…
22
Rebalance优化
static group membe… · cooperative rebala… · session.timeout调整
Rebalance优化
23
流量控制与背压
限流策略 · 背压机制 · Kafka Streams中的背压处…
流量控制背压
24
数据压缩与序列化
Snappy · Gzip · Zstd对比
数据压缩序列化
25
磁盘与存储优化
日志压缩 · 日志删除策略 · 磁盘容量规划
磁盘存储优化
26
多数据中心与跨集群复制
MirrorMaker2 · Cluster Linking · 延迟与堆积关系
多数据跨集群复制
27
压测与容量规划
使用kafka-producer-p… · kafka-consumer-per… · 确定吞吐量基线
压测容量规划
28
实战案例一
电商订单系统堆积排查与恢复（日志分析…
实战案例一电商订单系统堆积…
29
实战案例二
日志采集管道堆积优化（Filebea…
实战案例二Filebea
30
课程总结与最佳实践
日常运维检查清单 · 持续监控建议 · 未来趋势
课程总结最佳实践