4. Kafka 核心概念：Topic、Partition、Producer、Consumer、Broker、Offset 基础

在构建规则引擎 PSI 漂移告警系统时，Kafka 作为事件流的骨干，其核心概念是理解数据如何被组织、存储和消费的基础。本章将逐一拆解这些概念，并阐明它们在告警链路中的角色。

4.1 六大核心概念总览

Kafka 是一个分布式流处理平台，其架构围绕以下六个核心概念构建。下表总结了每个概念的定义及其在 PSI 漂移告警场景中的映射。

4.2 Topic 与 Partition：数据的逻辑与物理组织

Topic 是 Kafka 中最核心的抽象，它代表了一类数据流。每个 Topic 可以被进一步划分为多个 Partition，这是实现高吞吐和并行性的关键。

• Topic：一个 Topic 可以拥有任意数量的 Producer 和 Consumer。在 PSI 场景中，我们通常为每种告警级别或数据类型创建独立的 Topic，例如 psi-critical-alert、psi-warning-alert。
• Partition：Partition 是一个有序的、不可变的日志序列。消息以追加的方式写入 Partition 的尾部。Partition 的数量决定了 Topic 的最大并行处理能力。
• 分区策略：Producer 可以通过指定 Key（如设备 ID）来决定消息写入哪个 Partition。相同的 Key 总是写入同一个 Partition，从而保证局部有序。

4.3 Producer 与 Consumer：消息的生产与消费

Producer 和 Consumer 是 Kafka 的客户端，它们与 Broker 集群交互，完成消息的发布和订阅。

4.3.1 Producer（生产者）

• 职责：将消息发布到指定的 Topic。Producer 可以自主选择将消息发送到哪个 Partition。
• 确认机制（acks）：控制消息持久化的可靠性。
  • acks=0：不等待确认，吞吐量最高，可能丢数据。
  • acks=1：等待 Leader 确认，常用配置。
  • acks=all：等待所有副本确认，最安全，延迟最高。
• 幂等性：启用 enable.idempotence=true 可防止 Producer 重试导致的消息重复。

4.3.2 Consumer（消费者）与 Consumer Group

• Consumer：从 Topic 的 Partition 拉取消息进行处理。
• Consumer Group：一组 Consumer 共同消费一个 Topic。这是实现点对点（Queue）模式的关键。
  • 一个 Partition 只能被同一个 Group 内的一个 Consumer 消费。
  • 如果 Group 内的 Consumer 数量多于 Partition 数量，则会有 Consumer 处于空闲状态。
• 消费模式：
  • 点对点（Queue）：所有 Consumer 属于同一个 Group，消息只被处理一次。
  • 发布/订阅（Pub/Sub）：每个 Consumer 属于不同的 Group，消息被广播给所有 Group。

4.4 Broker 与 Offset：集群的基石与消费的指针

4.4.1 Broker（代理节点）

Broker 是 Kafka 集群的物理节点。一个集群通常由多个 Broker 组成，以实现高可用和横向扩展。

• Leader 与 Follower：每个 Partition 在多个 Broker 上拥有副本。其中一个副本作为 Leader，负责处理读写请求；其余副本作为 Follower，同步 Leader 的数据。
• Controller：集群中的一个 Broker 被选举为 Controller，负责管理分区和副本的状态，以及处理 Broker 的故障转移。
• 存储：Broker 将消息持久化到磁盘。消息的保留策略（retention policy）可以基于时间或大小。

4.4.2 Offset（偏移量）

Offset 是 Kafka 中实现消息顺序和消费进度跟踪的核心机制。

• 定义：每个 Partition 内的消息都有一个唯一的、递增的整数 ID，称为 Offset。Offset 代表了消息在分区日志中的位置。
• 消费提交：Consumer 在处理完消息后，会提交当前消费到的 Offset。Kafka 会记录这个 Offset，以便 Consumer 在重启或再均衡后，能够从上次中断的位置继续消费。
• 提交方式：
  • 自动提交（enable.auto.commit=true）：Consumer 定期自动提交 Offset，可能导致重复消费。
  • 手动提交（enable.auto.commit=false）：开发者在代码中显式提交 Offset，提供更精确的控制。

4.5 核心概念关系总结

下图展示了这些核心概念在 Kafka 集群中的整体协作关系，帮助理解数据从生产到消费的完整路径。

4.6 实践：在 PSI 告警中配置核心参数

以下是一个简单的 Producer 和 Consumer 配置示例，展示了如何在规则引擎告警系统中使用这些核心概念。

// Producer 配置示例 (Java)
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092,broker3:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
// 使用设备 ID 作为 Key，保证同一设备告警有序
props.put("partitioner.class", "org.apache.kafka.clients.producer.RoundRobinPartitioner");
props.put("acks", "all"); // 等待所有副本确认
props.put("enable.idempotence", "true"); // 启用幂等性

KafkaProducer<String, String> producer = new KafkaProducer<>(props);
ProducerRecord<String, String> record = new ProducerRecord<>("psi-drift-alert", deviceId, alertJson);
producer.send(record);

// Consumer 配置示例 (Java)
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092,broker3:9092");
props.put("group.id", "psi-alert-persist-group"); // Consumer Group
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("enable.auto.commit", "false"); // 手动提交 Offset
props.put("auto.offset.reset", "earliest"); // 从最早的消息开始消费

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("psi-drift-alert"));
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // 处理告警消息
        processAlert(record.value());
        // 处理成功后手动提交 Offset
        consumer.commitSync();
    }
}