📚 课程目录第2章消费者组基础

2. 消费者组基础：GroupCoordinator、ConsumerCoordinator、分区分配策略

消费者组（Consumer Group）是 Kafka 实现水平扩展与故障容错的核心抽象。一个消费者组内的所有消费者共同订阅一个或多个主题，组内每个分区只能被一个消费者消费。本章深入剖析消费者组的两大协调组件——GroupCoordinator（服务端）与 ConsumerCoordinator（客户端），以及三种主流分区分配策略的实现原理与适用场景。

2.1 GroupCoordinator：服务端协调者

GroupCoordinator 运行在 Kafka Broker 上，负责管理消费者组的元数据、成员状态、位移提交以及触发重平衡。每个 Broker 在启动时会根据 group.id 的哈希值确定其负责的消费者组。

职责	说明
成员管理	维护消费者组成员列表、心跳超时检测、成员加入/离开处理
位移管理	接收并持久化消费者提交的位移（Offset），存储在内部主题 `__consumer_offsets`
重平衡触发	当成员变更、订阅主题变更或分区数变化时，发起重平衡（Rebalance）流程
分配结果存储	保存分区分配结果，供新加入的消费者快速获取

关键机制：GroupCoordinator 通过 Epoch 机制（generation）防止过期请求干扰当前重平衡。每次重平衡都会递增 generation，旧 generation 的请求会被拒绝。

2.2 ConsumerCoordinator：客户端协调者

ConsumerCoordinator 是消费者客户端的一个组件，负责与 GroupCoordinator 通信，执行加入组、同步分配结果、发送心跳、提交位移等操作。它封装了重平衡协议的全部客户端逻辑。

JoinGroup 请求：消费者启动时或检测到需要重平衡时，向 GroupCoordinator 发送 JoinGroup 请求，携带自己的订阅信息。
SyncGroup 请求：GroupCoordinator 选出组内第一个消费者作为 Leader，Leader 执行分区分配算法，然后将分配结果通过 SyncGroup 请求同步给所有成员。
Heartbeat 请求：周期性发送心跳，告知 GroupCoordinator 自己仍然存活。超时未收到心跳的消费者会被踢出组。
OffsetCommit 请求：消费者在处理完一批消息后，提交当前消费位移。

  重平衡协议流程（简化）：

消费者发现需要重平衡（如心跳返回 REBALANCE_IN_PROGRESS）

所有消费者重新发送 JoinGroup → GroupCoordinator 选举 Leader

Leader 执行分区分配策略 → 通过 SyncGroup 分发结果

所有消费者收到新分配 → 开始消费新分区

2.3 分区分配策略

当消费者组内 Leader 消费者执行分区分配时，会根据配置的 partition.assignment.strategy 选择具体的分配算法。Kafka 内置三种策略：RangeAssignor、RoundRobinAssignor、StickyAssignor。

策略	核心思想	优点	缺点
Range	按主题分区顺序，连续分配给消费者	实现简单，分区连续	容易导致分配不均（消费者订阅不同主题时）
RoundRobin	将所有分区排序后轮询分配给消费者	分配均匀，负载均衡好	重平衡时变动大，不保留原有分配
Sticky	在均匀分配基础上，尽量保留已有分配	重平衡时分区移动最少，减少重复消费	算法复杂度较高

2.3.1 RangeAssignor（范围分配）

Range 策略按主题独立分配。对于每个主题，将分区按序号排序，然后按消费者字典序依次分配。假设主题 T 有 4 个分区（0-3），消费者 C1、C2 订阅该主题：C1 获得分区 0、1；C2 获得分区 2、3。当消费者订阅多个主题时，每个主题独立执行此逻辑，可能导致某些消费者承担更多分区。

2.3.2 RoundRobinAssignor（轮询分配）

RoundRobin 策略将所有订阅主题的所有分区视为一个整体列表，排序后依次轮询分配给每个消费者。这种策略能保证所有消费者分配到的分区数相差不超过 1，负载最均衡。但每次重平衡时，所有分区都会重新分配，导致大量分区迁移。

2.3.3 StickyAssignor（粘性分配）

Sticky 策略是 Kafka 2.4 引入的默认策略，它在保证负载均衡的前提下，最小化重平衡时的分区移动。算法分为两步：

初始分配：使用 RoundRobin 方式生成均匀分配方案。
粘性优化：在重平衡时，尽量保留消费者已有的分区，只对必须移动的分区进行调整。

性能影响：Sticky 策略的重平衡计算复杂度高于 Range 和 RoundRobin，但在大规模集群中，减少分区移动带来的收益远大于计算开销。对于延迟敏感的场景，推荐使用 Sticky 策略。

2.4 策略选择与配置

在 consumer.properties 或 Java 客户端中通过 partition.assignment.strategy 配置：

# 使用单个策略
partition.assignment.strategy=org.apache.kafka.clients.consumer.StickyAssignor

# 使用多个策略（按优先级顺序）
partition.assignment.strategy=org.apache.kafka.clients.consumer.StickyAssignor,org.apache.kafka.clients.consumer.RoundRobinAssignor

  生产建议：

  • 默认选择：StickyAssignor，适合绝大多数场景。

  • 特殊场景：如果消费者订阅的主题数差异很大，Range 可能导致严重不均，此时应使用 RoundRobin 或 Sticky。

  • 自定义策略：实现 org.apache.kafka.clients.consumer.internals.PartitionAssignor 接口，可定制分配逻辑。

2.5 本章小结

GroupCoordinator 是服务端协调者，管理消费者组元数据、位移和重平衡。
ConsumerCoordinator 是客户端协调者，负责与 GroupCoordinator 通信，执行重平衡协议。
RangeAssignor 按主题连续分配，简单但可能不均；RoundRobinAssignor 轮询分配，负载均匀但重平衡变动大；StickyAssignor 在均匀分配基础上最小化分区移动，是推荐默认策略。
重平衡是消费者组动态伸缩的基础，但也会带来短暂的消费中断和分区迁移开销，后续章节将深入分析重平衡的触发条件与优化手段。