📚 课程目录第2章 Kafka核心概念

2. Kafka 核心概念：Topic、Partition、Producer、Consumer、Broker、Offset、Consumer Group

Kafka 是一个分布式、分区化、多副本的发布-订阅消息系统。理解其核心概念是构建实时评分沙盘的基石。本章将逐一拆解这些概念，并展示它们如何协同工作。

2.1 核心概念全景图

下图展示了 Kafka 集群中各个核心组件之间的逻辑关系与数据流向。Producer 将消息发送到 Topic 的特定 Partition，Consumer Group 内的 Consumer 实例从 Partition 拉取消息，而 Offset 则记录了消费的位置。

2.2 核心概念详解

概念	定义	在评分沙盘中的角色
Topic（主题）	消息的逻辑分类。类似于数据库中的表。	定义不同的数据流，如 `user-scores`、`score-alerts`。
Partition（分区）	Topic 的物理分片。每个 Partition 是一个有序的、不可变的日志文件。	实现评分数据的并行写入与读取，提升吞吐量。
Producer（生产者）	向 Topic 发布消息的客户端。	评分计算引擎将处理后的评分结果发送到 Kafka。
Consumer（消费者）	从 Topic 订阅并拉取消息的客户端。	实时看板、告警服务从 Kafka 拉取评分数据进行展示或触发动作。
Broker（代理/服务器）	Kafka 集群中的单个服务器节点。负责存储消息、处理请求。	评分沙盘的分布式存储与消息中转枢纽。
Offset（偏移量）	Partition 内每条消息的唯一整数 ID。用于标记消费位置。	确保评分数据被精确消费一次，支持断点续传。
Consumer Group（消费者组）	一组 Consumer 实例的集合。组内 Consumer 协同消费 Topic 的分区。	实现评分数据的负载均衡与高可用消费。

2.3 关键机制：Partition 与 Offset

Partition 是 Kafka 实现高吞吐和水平扩展的核心。每个 Partition 内部的消息都有一个唯一的 Offset，Consumer 通过提交 Offset 来记录消费进度。

  核心原则： 同一个 Consumer Group 下，一个 Partition 只能被一个 Consumer 实例消费。这保证了消息在组内的有序性（单 Partition 级别）。

2.4 Consumer Group 的负载均衡

Consumer Group 是 Kafka 实现点对点（Queue）和发布-订阅（Pub/Sub）两种模型的关键。当组内 Consumer 实例数量变化或 Topic 分区数变化时，Kafka 会触发 Rebalance（重平衡），重新分配分区与 Consumer 的对应关系。

最佳实践： 在评分沙盘中，建议将 Consumer Group 的实例数设置为小于或等于目标 Topic 的分区数，以避免部分 Consumer 空闲。

分区分配示例

假设 Topic user-scores 有 4 个分区（P0, P1, P2, P3），Consumer Group score-processors 有 2 个 Consumer（C1, C2）：

理想分配： C1 消费 P0, P1；C2 消费 P2, P3。
新增 Consumer C3： 触发 Rebalance，可能变为 C1(P0), C2(P1), C3(P2, P3)。
Consumer C2 宕机： 触发 Rebalance，C1 接管 P0, P1, P2，C3 接管 P3。

2.5 核心概念关系总结

组件	关系描述	关键参数
Producer → Topic	Producer 指定 Topic 发送消息，可指定 Key 决定写入哪个 Partition。	`acks`, `retries`, `key.serializer`
Topic → Partition	Topic 由多个 Partition 组成，Partition 是存储和并行处理的基本单位。	`num.partitions`, `replication.factor`
Partition → Broker	Partition 的副本分布在多个 Broker 上，Leader 副本负责读写，Follower 副本负责同步。	`min.insync.replicas`
Consumer Group → Topic	Consumer Group 订阅 Topic，组内 Consumer 协同消费所有 Partition。	`group.id`, `enable.auto.commit`
Consumer → Offset	Consumer 通过提交 Offset 记录消费进度，支持自动或手动提交。	`auto.offset.reset`, `auto.commit.interval.ms`

注意： Offset 的管理至关重要。在实时评分场景中，建议使用手动提交 Offset，并在业务逻辑处理成功后再提交，以避免数据丢失或重复处理。

2.6 快速上手：命令行验证核心概念

以下命令演示了如何在本地 Kafka 环境中创建 Topic、查看 Partition 信息、启动 Producer 和 Consumer，直观感受核心概念。

# 1. 创建一个名为 "score-test" 的 Topic，3个分区，1个副本
bin/kafka-topics.sh --create --topic score-test \
  --bootstrap-server localhost:9092 \
  --partitions 3 --replication-factor 1

# 2. 查看 Topic 详情（确认分区和 Leader 分布）
bin/kafka-topics.sh --describe --topic score-test \
  --bootstrap-server localhost:9092

# 3. 启动一个 Producer 并发送消息
bin/kafka-console-producer.sh --topic score-test \
  --bootstrap-server localhost:9092
> {"user": "alice", "score": 95}
> {"user": "bob", "score": 87}

# 4. 启动一个 Consumer（属于 group "score-group"）并消费消息
bin/kafka-console-consumer.sh --topic score-test \
  --bootstrap-server localhost:9092 \
  --group score-group --from-beginning

通过上述命令，你可以看到 Producer 发送的消息被 Kafka 存储，Consumer 从指定 Offset 开始拉取并打印消息。这就是 Kafka 核心概念在实践中的基本体现。