📚 课程目录第2章 Kafka核心概念回顾

2. Kafka 核心概念回顾：Topic、Partition、Producer、Consumer、Consumer Group、Offset、Broker

在深入 Kafka 堆积诊断与契约测试之前，必须对 Kafka 的七个核心概念建立精确、一致的理解。这些概念构成了所有后续诊断策略与测试方法的基础。以下逐一拆解其定义、职责与协作关系。

2.1 核心概念一览

概念	英文	一句话定义	关键角色
主题	Topic	消息的逻辑分类，类似数据库中的表	消息的归属与路由
分区	Partition	Topic 的物理分片，实现并行与扩展	消息顺序、存储与副本
生产者	Producer	向 Topic 发布消息的客户端	消息发送、分区选择、确认
消费者	Consumer	从 Topic 拉取消息的客户端实例	消息拉取、处理、提交
消费组	Consumer Group	多个 Consumer 组成的逻辑集群	负载均衡、容错、Rebalance
偏移量	Offset	分区内消息的唯一递增序号	消费进度追踪、断点续传
代理节点	Broker	Kafka 集群中的单个服务器	存储、服务、副本管理

2.2 概念关系与数据流

下图展示了从 Producer 到 Consumer Group 的完整消息流转路径，以及 Broker、Topic、Partition、Offset 在其中的位置。

2.3 各概念深度解析

2.3.1 Topic（主题）

逻辑容器：Topic 是消息的逻辑分类单元，生产者将消息发送到特定 Topic，消费者从特定 Topic 拉取消息。
多订阅者：一个 Topic 可以被多个 Consumer Group 独立消费，每个 Group 拥有自己的消费进度。
命名规范：建议使用 domain.service.event 格式，例如 order.payment.paid。

2.3.2 Partition（分区）

物理分片：每个 Partition 是一个有序、不可变的消息序列，对应一个日志文件。
并行单元：Partition 是 Kafka 并行处理的最小单位，一个 Partition 只能被同一个 Consumer Group 内的一个 Consumer 消费。
副本机制：每个 Partition 有多个副本（Replica），分布在不同的 Broker 上，Leader 负责读写，Follower 负责同步。

诊断提示：Partition 数量直接影响消费并行度。Partition 过多会导致文件句柄膨胀和 Rebalance 时间变长；过少则限制 Consumer 并发能力。一般建议 Partition 数 = 预期最大 Consumer 数 × 2～3。

2.3.3 Producer（生产者）

发送模式：支持同步（sync）、异步（async）、批量（batch）三种发送模式。
确认机制：acks 参数控制消息持久化确认级别：
- acks=0：不等待确认，吞吐最高，可能丢消息。
- acks=1：Leader 写入即确认，平衡吞吐与可靠性。
- acks=all：所有 ISR 副本写入后确认，最可靠，延迟最高。
分区策略：默认按 key 哈希分区，无 key 时轮询（Round-Robin）或粘性分区（Sticky Partitioner）。

2.3.4 Consumer 与 Consumer Group（消费者与消费组）

消费模型：Consumer 采用拉取（Pull）模式，主动从 Broker 拉取消息，避免推送模式下的背压问题。
Group 内分配：Partition 与 Consumer 的分配关系由 Group Coordinator 管理，支持 Range、RoundRobin、Sticky 等分配策略。
Rebalance 触发：当 Consumer 加入/离开 Group、Topic 元数据变化时触发 Rebalance，期间消费暂停。

堆积诊断要点：Consumer 处理能力不足、频繁 Rebalance、提交偏移量过慢是导致消息堆积的三大常见原因。监控 Consumer Lag（消费滞后量）是发现堆积的第一道防线。

2.3.5 Offset（偏移量）

唯一标识：每个 Partition 内的消息都有一个从 0 开始的递增 Offset，标识消息在分区内的位置。
消费进度：Consumer 通过提交 Offset 记录消费进度，支持自动提交（enable.auto.commit=true）和手动提交。
重置策略：当 Consumer 首次消费或 Offset 丢失时，可通过 auto.offset.reset 配置为 earliest（从最早开始）或 latest（从最新开始）。

2.3.6 Broker（代理节点）

集群节点：每个 Broker 是一个独立的 Kafka 服务器进程，负责存储 Partition 数据、处理客户端请求。
Controller 角色：集群中有一个 Broker 充当 Controller，负责管理 Partition 的 Leader 选举和元数据变更。
存储结构：每个 Partition 对应一个目录，目录内包含多个 Segment 文件（.log、.index、.timeindex）。

2.4 概念对比：Topic vs Partition vs Broker

维度	Topic	Partition	Broker
抽象层级	逻辑	物理	物理
扩展方向	水平（增加 Partition）	水平（增加副本）	水平（增加节点）
故障影响	无直接影响	Leader 切换，短暂不可用	其上所有 Partition Leader 切换
管理操作	创建、删除、修改配置	增加、迁移、副本调整	启停、扩缩容、滚动升级

2.5 典型消息流转示例

以下代码展示了一个 Producer 发送消息到 Topic orders，以及 Consumer 从该 Topic 拉取消息的简化示例：

// Producer 端
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("acks", "all");

KafkaProducer<String, String> producer = new KafkaProducer<>(props);
ProducerRecord<String, String> record = new ProducerRecord<>("orders", "order-123", "{\"userId\":42,\"amount\":99.9}");
producer.send(record, (metadata, exception) -> {
    if (exception == null) {
        System.out.printf("Sent to partition %d, offset %d%n", metadata.partition(), metadata.offset());
    }
});
producer.close();

// Consumer 端
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
props.put("group.id", "order-service-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("enable.auto.commit", "false");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("orders"));
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("Partition: %d, Offset: %d, Key: %s, Value: %s%n",
                record.partition(), record.offset(), record.key(), record.value());
    }
    consumer.commitSync(); // 手动提交偏移量
}

2.6 概念关系总结

七个核心概念构成了 Kafka 的完整数据管道：Producer 将消息发送到 Topic 的某个 Partition，Broker 负责存储 Partition 数据并管理副本；Consumer 以 Consumer Group 为单位从 Partition 拉取消息，通过 Offset 记录消费进度。理解这些概念之间的协作关系，是后续诊断 Kafka 堆积、设计契约测试的前提。