2. Kafka 基础回顾：Topic、Partition、Replica、Producer、Consumer、Broker 核心概念
在深入读写分离与性能优化之前，必须重新校准 Kafka 的核心抽象。这些概念不仅是 API 层面的名词，更是决定吞吐、可靠性与延迟的底层约束。本节从物理与逻辑两个维度拆解六大核心组件。
2.1 逻辑存储单元：Topic 与 Partition
Topic 是消息的逻辑分类，类似数据库中的表。每个 Topic 被切分为多个 Partition，Partition 是 Kafka 并行与扩展的基本单位。
| 概念 | 角色 | 关键特性 |
|---|---|---|
| Topic | 消息的逻辑归类 | 可配置保留策略（时间/大小）；消费者按 Topic 订阅 |
| Partition | 物理日志文件（Segment） | 有序追加、不可变；分区内消息有唯一偏移量（Offset） |
| Offset | 消息在分区内的位置 | 单调递增；消费者通过提交 Offset 记录消费进度 |
性能要点：Partition 数量直接影响 Producer 与 Consumer 的并行度。过多分区会增加 Leader 选举与文件句柄开销；过少分区会限制吞吐。建议根据目标吞吐与单分区写入能力（通常 10–50 MB/s）反推分区数。
2.2 高可用基石：Replica 与 ISR
每个 Partition 可以有多个 Replica（副本），副本分为 Leader 与 Follower。Leader 负责读写，Follower 从 Leader 拉取数据并保持同步。只有处于 ISR（In-Sync Replica） 集合中的副本才被允许成为新 Leader。
- Leader Replica：唯一提供读写服务的副本；Producer 与 Consumer 只与 Leader 交互。
- Follower Replica：异步拉取 Leader 数据；不对外提供服务，仅用于故障切换。
- ISR 机制：Follower 落后 Leader 超过
replica.lag.time.max.ms（默认 30s）会被踢出 ISR；ISR 为空时 Leader 会等待所有副本恢复或降级。
优化提示：读写分离场景下，Follower 副本通常不承载读流量（除非显式配置
client.rack 或使用 Kafka 2.4+ 的 Follower 读取功能）。副本数建议设为 2–3，过多副本会增大 ISR 同步压力与磁盘占用。
2.3 生产者（Producer）与消费者（Consumer）
Producer 负责将消息写入指定 Topic 的 Partition。写入策略由分区器（Partitioner）决定：默认按 key 哈希，无 key 时轮询。Producer 可配置 acks 参数控制可靠性级别。
| acks 值 | 行为 | 延迟 | 可靠性 |
|---|---|---|---|
| 0 | 不等待任何确认 | 最低 | 可能丢消息 |
| 1 | 等待 Leader 写入本地日志 | 中等 | Leader 宕机可能丢 |
| all（-1） | 等待 ISR 中所有副本确认 | 最高 | 最强保证 |
Consumer 以 Consumer Group 为单位消费。同一 Group 内的 Consumer 实例共同消费 Topic 的所有分区，每个分区只被一个 Consumer 实例消费。这种模型保证了分区内的消息顺序。
- Consumer Group：逻辑订阅者；Group 内 Consumer 数量不应超过分区数，否则会有空闲 Consumer。
- Offset 提交：自动提交（默认 5s）或手动提交；手动提交可精确控制“至少一次”或“最多一次”语义。
- Rebalance：当 Consumer 加入/离开或分区数变化时触发，期间消费暂停。
常见陷阱：Consumer 处理耗时过长（超过
max.poll.interval.ms，默认 5 分钟）会被认为已死亡，触发 Rebalance。批量处理场景下务必控制单次 poll 的消息处理时间。
2.4 集群节点：Broker
Broker 是 Kafka 集群中的单个服务器进程。每个 Broker 管理多个 Partition 的副本，并承担 Leader 或 Follower 角色。集群通过 ZooKeeper 或 KRaft 进行元数据协调。
| Broker 职责 | 说明 |
|---|---|
| 分区副本管理 | 每个 Broker 持有部分分区的 Leader 与 Follower 副本 |
| 请求处理 | 处理 Produce、Fetch、Metadata 等请求 |
| 日志存储 | 管理磁盘上的 Segment 文件与索引 |
| 控制器（Controller） | 集群中唯一 Broker 负责 Leader 选举与分区分配 |
性能视角：Broker 的磁盘 I/O、网络带宽与 CPU 直接影响吞吐。读写分离优化通常将 Producer 流量与 Consumer 流量分散到不同 Broker 或不同磁盘组，避免读写竞争同一磁盘。
2.5 核心概念关系总结
以下表格从性能优化视角梳理各组件的关键属性与调优方向：
| 组件 | 核心属性 | 性能影响 | 优化方向 |
|---|---|---|---|
| Topic | 分区数、保留策略 | 分区数决定并行度 | 根据吞吐量计算分区数 |
| Partition | 副本数、ISR 大小 | 副本数影响写入延迟 | 平衡可靠性与延迟 |
| Producer | acks、batch.size、linger.ms | 批量大小决定吞吐 | 增大 batch 与压缩 |
| Consumer | fetch.min.bytes、max.poll.records | 拉取批次影响处理效率 | 增大拉取批次与并行消费 |
| Broker | 磁盘类型、网络带宽、num.io.threads | I/O 线程数影响请求处理 | SSD + 独立磁盘组 |