2. Kafka 核心概念回顾：Topic、Partition、Producer、Consumer、Broker、Offset、消息模型与日志结构

在深入批量发送与尾延迟压测之前，必须重新校准 Kafka 的核心概念。本章不是入门扫盲，而是从性能调优与工程压测的视角，重新审视这些基础构件如何影响吞吐、延迟与可靠性。

2.1 消息模型：从 Pub/Sub 到日志抽象

Kafka 本质上是一个分布式提交日志（Distributed Commit Log）。它打破了传统消息队列“点对点”或“发布/订阅”的二分法，将所有消息持久化到磁盘，并允许消费者通过偏移量（Offset）自由回溯消费。

• 发布/订阅（Pub/Sub）：Producer 发布消息到 Topic，Consumer 订阅 Topic 并拉取消息。
• 日志抽象：每个 Partition 是一个有序、不可变的日志序列。消息追加到尾部，Consumer 通过 Offset 控制读取位置。
• 拉模型（Pull Model）：Consumer 主动从 Broker 拉取数据，而非 Broker 推送。这使 Consumer 能自主控制消费速率，避免背压（Backpressure）。

2.2 核心组件与职责

2.3 Topic 与 Partition：并行度的基石

Topic 是逻辑容器，Partition 是物理存储与并行消费的单位。一个 Topic 可以有多个 Partition，分布在不同的 Broker 上。

• 分区规则：Producer 通过 key 的哈希值决定消息写入哪个 Partition；无 key 时使用轮询（Round-Robin）或粘性分区（Sticky Partitioner）。
• 副本机制：每个 Partition 有多个副本（Replica），其中一个是 Leader，其余是 Follower。所有读写请求都由 Leader 处理，Follower 异步同步数据。
• ISR（In-Sync Replicas）：与 Leader 保持同步的副本集合。当 acks=all 时，Producer 必须等待所有 ISR 确认后才算发送成功。

2.4 日志结构与存储模型

Kafka 的消息存储不是逐条文件，而是采用分段日志（Segment）结构。每个 Partition 对应一个目录，目录内包含多个 Segment 文件。

• Segment 文件：默认每个 Segment 大小为 1GB 或 1 周（由 log.segment.bytes 和 log.roll.hours 控制）。
• 索引文件：每个 Segment 附带两个索引：.index（偏移量索引）和 .timeindex（时间戳索引），用于快速定位消息。
• 日志清理：支持两种策略——删除（delete）：超过保留时间或大小后删除旧 Segment；压缩（compact）：保留每个 key 的最新消息，删除旧版本。

2.5 关键配置与性能影响

2.6 本章小结

Kafka 的核心概念并非孤立存在，它们共同构成了一个高吞吐、持久化、可回溯的分布式日志系统。在后续的批量发送与尾延迟压测中，你将反复与这些概念打交道：

• Topic 与 Partition 决定了消息的分布与并行度。
• Producer 的批量与压缩 直接影响吞吐与延迟。
• Consumer 的 Offset 管理 决定了消费的准确性与重平衡行为。
• 日志分段与索引 是磁盘 I/O 与查找性能的底层支撑。