2. Kafka 基础回顾：核心概念、消息模型与存储机制

在深入 Kafka 堆积与 Redis 缓存击穿的调优方案之前，必须牢固掌握 Kafka 的基础架构。本节将系统梳理 Topic、Partition、Consumer Group 三大核心概念，并剖析消息模型与底层存储机制，为后续的性能瓶颈分析奠定理论基础。

2.1 核心概念：Topic、Partition、Consumer Group

Kafka 是一个分布式、分区的、多副本的发布-订阅消息系统。其核心抽象围绕以下三个概念展开：

2.2 消息模型：发布-订阅与点对点

Kafka 通过 Consumer Group 机制同时支持两种经典消息模型：

• 点对点模型（Queue）： 所有消费者属于同一个 Group。每条消息只被组内一个消费者处理，适合任务分发、负载均衡。
• 发布-订阅模型（Pub/Sub）： 每个消费者属于不同的 Group。每条消息被所有 Group 独立消费，适合事件广播、数据同步。

这种设计使得 Kafka 在同一个 Topic 上既能实现可靠的消息队列，又能实现多系统间的数据复制，极大提升了架构灵活性。

2.3 存储机制：日志分段与索引

Kafka 的消息存储以 Partition 为单位，采用日志分段（Log Segment）与稀疏索引机制，实现高效的顺序写入与基于偏移量的快速查找。

2.3.1 日志分段（Log Segment）

每个 Partition 在磁盘上对应一个目录，目录内包含多个 Segment 文件。Segment 是 Kafka 日志的最小存储单元，由以下文件组成：

• .log 文件： 存储实际的消息数据，消息按追加顺序写入，每条消息包含偏移量、长度、CRC、消息体等字段。
• .index 文件： 偏移量索引，建立从逻辑偏移量到物理文件位置的映射，采用稀疏索引（默认每 4KB 记录一条索引项）。
• .timeindex 文件： 时间戳索引，支持按时间戳查找消息。

2.3.2 索引查找流程

当消费者请求指定偏移量的消息时，Kafka 执行以下二分查找流程：

1. 根据目标偏移量定位所属 Segment（通过文件名中的 baseOffset 范围判断）。
2. 加载该 Segment 的 .index 文件，使用二分查找找到小于等于目标偏移量的最近索引项。
3. 从索引项记录的物理位置（position）开始，在 .log 文件中顺序扫描，直到找到目标消息。

2.4 关键参数与性能影响

以下参数在堆积场景下直接影响 Kafka 的存储效率与消费性能：