2. Kafka 核心概念回顾

在深入 PSI 漂移监控之前，必须牢固掌握 Kafka 的五大核心抽象。这些概念构成了所有数据管道与实时告警系统的基础。下面从逻辑存储、物理分布与客户端角色三个维度进行拆解。

2.1 五大核心概念总览

2.2 核心概念关系图

下图展示了 Producer 将消息写入 Topic 的多个 Partition，Broker 集群负责存储与副本同步，Consumer Group 内的消费者各自拉取不同 Partition 的数据。

2.3 关键机制详解

2.3.1 Topic 与 Partition 的存储模型

Topic 是逻辑上的消息分类。每个 Topic 被切分为多个 Partition，Partition 是物理上的日志文件（Log Segment）。消息以追加方式写入 Partition，每个消息在分区内拥有唯一的偏移量（Offset）。

• 分区数：决定 Topic 的最大并行度。分区数越多，吞吐越高，但也会增加 Broker 的元数据开销。
• 副本因子：每个 Partition 可以有多个副本，分布在不同的 Broker 上。Leader 副本负责读写，Follower 副本负责同步。
• ISR（In-Sync Replicas）：与 Leader 保持同步的副本集合。ISR 大小是衡量集群健康度的关键指标。

2.3.2 Producer 消息发送流程

Producer 将消息发送到指定 Topic 的某个 Partition。发送流程包含以下关键步骤：

1. 序列化：将消息键和值转换为字节数组。
2. 分区器：根据键的哈希值或自定义策略，决定消息写入哪个 Partition。
3. 批次收集：消息先进入缓冲区，按批次（Batch）聚合，减少网络请求次数。
4. 发送：Sender 线程将批次发送给 Broker 的 Leader 副本。
5. 确认：根据 acks 配置（0、1、all），等待 Broker 确认。

// Producer 核心配置示例（Java）
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("acks", "all");                 // 等待所有副本确认
props.put("linger.ms", "5");              // 最多等待 5ms 以凑齐批次
props.put("batch.size", "16384");         // 批次大小 16KB
props.put("compression.type", "snappy");  // 启用压缩减少网络开销

KafkaProducer<String, String> producer = new KafkaProducer<>(props);
producer.send(new ProducerRecord<>("psi_cpu_pressure", "server-01", "{\"psi_avg10\":2.3}"));
producer.close();

2.3.3 Consumer 消费与再均衡

Consumer 以 Consumer Group 的形式消费 Topic。Group 内的每个 Consumer 负责一个或多个 Partition，实现负载均衡。当 Consumer 加入或离开 Group 时，会触发再均衡（Rebalance），重新分配 Partition 所有权。

• 偏移量提交：Consumer 消费完消息后，需要提交偏移量（Offset），记录消费进度。自动提交（enable.auto.commit=true）可能导致重复消费；手动提交更可控。
• 消费滞后（Lag）：Producer 写入的最新偏移量与 Consumer 已提交偏移量之间的差值。Lag 是 PSI 实时监控中最关键的告警指标之一。

2.4 核心概念与 PSI 监控的映射

下表将 Kafka 核心概念直接映射到 PSI 漂移告警系统的组件，帮助理解后续章节的架构设计。

2.5 数据流全景图

下面用一张完整的时序图展示 PSI 指标从采集到告警的完整数据流，帮助建立端到端的视角。