2. Kafka 基础回顾：Topic 与 Partition 机制、Producer 与 Consumer 模型、消息持久化与副本策略
在深入 PSI 漂移监控方案之前，必须牢固掌握 Kafka 的核心基础。本章将系统回顾 Topic 与 Partition 的分区机制、Producer 与 Consumer 的协作模型，以及消息持久化与副本策略。这些概念是理解后续监控指标与漂移检测逻辑的基石。
2.1 Topic 与 Partition 机制
Topic（主题）是 Kafka 中消息的逻辑分类，而 Partition（分区）是物理存储与并行处理的基本单元。一个 Topic 可被拆分为多个 Partition，每个 Partition 是一个有序、不可变的消息序列，通过偏移量（Offset）唯一标识每条消息。
核心设计原则： Partition 是 Kafka 水平扩展与高吞吐的基石。分区数决定了 Consumer 的并行消费能力，也直接影响数据分布与 PSI 漂移检测的粒度。
Partition 数据分布与偏移量
| 概念 | 说明 | PSI 监控关联 |
|---|---|---|
| Partition | Topic 的物理分片，每个 Partition 对应一个日志文件 | 分区偏移量是 PSI 漂移计算的基础数据源 |
| Offset | 分区内消息的唯一递增序号，从 0 开始 | 监控 Offset 增长速率可检测生产/消费漂移 |
| Leader | 每个 Partition 的主副本，负责读写请求 | Leader 偏移量是权威数据点 |
| Follower | 从副本，同步 Leader 数据，提供容灾 | Follower 同步滞后可能引发数据一致性漂移 |
2.2 Producer 与 Consumer 模型
Producer（生产者）负责将消息发布到指定的 Topic，Consumer（消费者）从 Topic 拉取消息进行处理。Kafka 采用发布-订阅模式，Producer 与 Consumer 之间完全解耦。
Producer 工作流程
- 消息序列化：将 Key 和 Value 序列化为字节数组。
- 分区选择：根据 Key 的哈希值或自定义分区器，确定目标 Partition。
- 消息缓冲：消息进入 Producer 端的缓冲区，等待批量发送。
- 发送确认：根据 acks 配置（0/1/all）等待 Broker 确认。
Consumer 与 Consumer Group
Consumer 以 Group 为单位进行消费。同一个 Group 内的 Consumer 共同消费一个 Topic 的消息，每个 Partition 只能被 Group 内的一个 Consumer 消费，从而实现负载均衡与水平扩展。
| 模型要素 | 说明 | PSI 监控要点 |
|---|---|---|
| Producer | 向 Topic 发送消息，可指定 Key 或分区策略 | 监控生产速率与请求超时，检测生产端漂移 |
| Consumer | 从 Partition 拉取消息，维护消费偏移量 | 监控消费滞后（Lag），检测消费端漂移 |
| Consumer Group | 多个 Consumer 组成逻辑消费单元 | Group 内 Rebalance 可能引发消费中断与漂移 |
| Offset 提交 | 自动提交或手动提交消费位置 | 提交频率与一致性影响漂移检测准确性 |
2.3 消息持久化与副本策略
Kafka 的消息持久化基于日志文件实现，所有消息直接写入磁盘，利用操作系统的页缓存（Page Cache）提升读写性能。副本策略（Replication）确保数据的高可用性。
持久化机制
- 顺序写入：消息追加到日志文件末尾，避免随机 I/O，吞吐量极高。
- 日志分段：每个 Partition 的日志被切分为多个 Segment 文件，便于清理与压缩。
- 索引文件：每个 Segment 附带偏移量索引与时间戳索引，支持高效定位。
副本策略（ISR 机制）
每个 Partition 有多个副本（Replica），其中一个是 Leader，其余为 Follower。Follower 从 Leader 拉取消息进行同步。Kafka 使用 ISR（In-Sync Replica） 列表维护与 Leader 保持同步的副本集合。
| 副本角色 | 职责 | PSI 监控指标 |
|---|---|---|
| Leader | 处理所有读写请求，维护 LEO（Log End Offset） | LEO 是生产端偏移量的权威来源 |
| Follower | 从 Leader 拉取数据，维护自己的 LEO | Follower LEO 与 Leader LEO 的差值反映同步滞后 |
| ISR 列表 | 与 Leader 保持同步的副本集合 | ISR 收缩表示副本同步异常，可能引发数据丢失 |
| HW（High Watermark） | ISR 中所有副本都确认写入的偏移量 | Consumer 只能读取 HW 之前的消息，HW 滞后影响消费可见性 |
⚠️ 关键概念： LEO 与 HW 的差值（LEO - HW）是 PSI 漂移监控的核心指标之一。当生产速率远大于副本同步速率时，HW 滞后会导致 Consumer 无法及时看到最新消息，形成“消费可见性漂移”。
副本同步流程
- Producer 向 Leader 写入消息，Leader 更新 LEO。
- Follower 向 Leader 发送 Fetch 请求，拉取新消息。
- Follower 写入本地日志并更新自己的 LEO。
- Leader 检测到 ISR 中所有 Follower 都已同步到某个偏移量后，更新 HW。
- Consumer 只能拉取 HW 之前的消息。
2.4 本章小结
- Topic 与 Partition： 分区是 Kafka 并行处理与水平扩展的核心单元，偏移量是 PSI 漂移计算的基础。
- Producer 与 Consumer： 生产端与消费端通过偏移量解耦，消费滞后（Lag）是漂移检测的关键指标。
- 持久化与副本： 顺序写入保证高性能，ISR 机制确保数据一致性，LEO 与 HW 的差值反映副本同步状态与消费可见性。