1.1 Kafka 核心概念与消息模型

Apache Kafka 是一个分布式、分区化、多副本的发布-订阅消息系统，其核心设计围绕日志结构存储与流式处理展开。理解以下基础概念是掌握 Kafka API 与诊断契约的前提。

1.1.1 核心组件一览

1.1.2 消息模型：发布-订阅与日志追加

Kafka 采用拉取（Pull）模型，消费者主动从 Broker 拉取数据，而非 Broker 推送。每条消息在分区内以追加写（Append-Only）方式存储，形成不可变的日志序列。

• 消息结构：包含消息头（Key、Value、Timestamp、Headers）与消息体（字节数组）。
• 偏移量（Offset）：分区内每条消息的唯一递增序号，消费者通过偏移量控制消费进度。
• 日志保留策略：基于时间（log.retention.hours）或大小（log.retention.bytes）自动清理旧数据。

1.1.3 日志结构与存储模型

Kafka 的日志文件以分区为单位存储，每个分区对应一个目录，目录内包含多个 Segment 文件。Segment 是日志的最小存储单元，由 .log（消息数据）、.index（偏移量索引）、.timeindex（时间戳索引）组成。

# 分区目录示例（Topic: orders, Partition: 0）
/var/lib/kafka/data/orders-0/
├── 00000000000000000000.log
├── 00000000000000000000.index
├── 00000000000000000000.timeindex
├── 00000000000000123456.log
├── 00000000000000123456.index
└── 00000000000000123456.timeindex

Segment 文件命名规则：以该 Segment 中第一条消息的偏移量作为文件名，固定 20 位数字左补零。索引文件采用稀疏存储，默认每写入 4KB 数据记录一条索引条目，用于快速定位消息物理位置。

1.1.4 分区副本与 ISR 机制

每个分区可配置多个副本（Replica），其中只有一个副本作为 Leader 处理读写请求，其余副本作为 Follower 从 Leader 同步数据。Kafka 使用 ISR（In-Sync Replica） 列表维护与 Leader 保持同步的副本集合。

• Leader 选举：当 Leader 宕机时，从 ISR 中选举一个新的 Leader。
• 最小 ISR 配置：min.insync.replicas 控制写入时至少需要多少个副本确认，防止数据丢失。
• 副本同步滞后：Follower 若落后 Leader 超过 replica.lag.time.max.ms，将被踢出 ISR。

1.1.5 生产者与消费者核心流程

生产者写入流程：

1. Producer 向任意 Broker 发送 MetadataRequest，获取 Topic 分区 Leader 信息。
2. 根据分区策略（轮询、Key 哈希、自定义）选择目标分区。
3. 将消息追加到 Leader 分区的日志末尾，等待 acks 配置级别的确认。
4. Leader 将消息同步到 ISR 中的 Follower，返回响应给 Producer。

消费者拉取流程：

1. Consumer 向 Coordinator Broker 发送 JoinGroupRequest，加入 Consumer Group。
2. Coordinator 分配分区给消费者，返回分配结果。
3. Consumer 向分区 Leader 发送 FetchRequest，携带偏移量参数。
4. Broker 返回消息批次，Consumer 提交偏移量到 __consumer_offsets 主题。

1.1.6 关键配置参数速查