VIP20

本课程属于：016-Kafka数据流平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka集群监控与性能调优

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka前世今生

从LinkedIn内部消息系统到Apache顶级项目，Kafka的诞生背景、核心设计哲学与生态演进。

起源设计哲学

集群架构解剖

Broker、Topic、Partition、Replica、Controller、ZooKeeper的角色与协作机制。

生产环境部署

硬件选型（CPU/内存/磁盘/网络）、操作系统优化、JDK版本选择与JVM调优基础。

核心配置精讲

server.properties中那些决定性能的关键参数——log.segment.bytes、num.network.threads、log.retention.hours等。

生产者深度剖析

分区策略、ACK机制、幂等性与事务、缓冲区与批次发送、压缩算法选型。

生产者事务

消费者与消费组

Rebalance机制、位移提交策略、静态消费组、分区分配策略（Range/RoundRobin/Sticky）。

消费者Rebalance

存储机制解密

日志分段（LogSegment）、索引文件（.index/.timeindex）、页缓存与磁盘顺序写。

副本与高可用

ISR机制、Leader选举、Unclean Leader Election、最小同步副本配置。

副本高可用

监控体系搭建（上）

JMX指标暴露、Prometheus + Grafana 监控栈部署、关键指标大盘设计。

监控Prometheus

监控体系搭建（下）

Kafka Exporter、Burrow（消费者滞后监控）、Cruise Control 的安装与配置。

核心指标解读（上）

吞吐量（BytesIn/Out）、请求速率（RequestsPerSec）、分区数（UnderReplicatedPartitions）。

指标吞吐量

核心指标解读（下）

消费者滞后（Consumer Lag）、活跃连接数、网络线程与IO线程利用率。

日志与故障排查

Controller日志、Server日志、状态变更日志、常见异常（NotLeaderForPartition、LeaderNotAvailable）。

性能基准测试

使用kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh进行压测，解读测试报告。

生产者性能调优

batch.size、linger.ms、compression.type、max.in.flight.requests.per.connection的实战调优。

调优生产者

消费者性能调优

fetch.min.bytes、fetch.max.wait.ms、max.partition.fetch.bytes、session.timeout.ms的平衡艺术。

调优消费者

Broker端调优

num.replica.fetchers、replica.fetch.max.bytes、log.flush.interval.messages、网络线程数调整。

操作系统调优

文件描述符限制、脏页回写策略（vm.dirty_ratio）、透明大页禁用、磁盘调度算法（deadline/noop）。

分区与Topic设计

分区数规划原则、Key设计策略、Compact Topic与日志清理策略（delete/compact）。

重平衡优化

静态消费组、Cooperative Sticky Assignor、session.timeout.ms与heartbeat.interval.ms的配合。

Rebalance优化

SSL/TLS加密、SASL认证（PLAIN/SCRAM/Kerberos）、ACL授权模型与最佳实践。

跨集群复制

MirrorMaker 2.0架构、配置实战、双向复制与灾难恢复方案设计。

Source/Sink Connector开发、REST API管理、单机与分布式模式对比。

有状态/无状态处理、时间窗口、KTable与KStream、Exactly-Once语义。

集群扩容与缩容

分区重分配（kafka-reassign-partitions.sh）、Broker退役、数据均衡策略。

故障场景实战

磁盘故障处理、Controller宕机、Leader选举风暴、慢副本排查。

版本升级策略

滚动升级、协议兼容性、ZooKeeper迁移至KRaft（KIP-500）的演进路线。

消息量预估、磁盘空间计算、网络带宽评估、内存与CPU资源模型。

分层存储（Tiered Storage）、共享集群与资源隔离、小文件合并策略。

某电商大促场景下Kafka集群的监控告警体系设计与性能调优全流程复盘。