📚 课程目录第4章 Consumer消费模型

4. 消费模型：消费组与分区分配策略

Kafka 消费端的高吞吐与水平扩展能力，核心依赖 消费组（Consumer Group） 与 分区分配策略（Partition Assignment Strategy）。消费组定义了消费者之间的协作边界，分配策略决定了 Topic 下每个 Partition 由哪个 Consumer 负责拉取。理解这两层机制，是诊断堆积、优化消费并行度的前提。

4.1 消费组：逻辑隔离与水平扩展单元

消费组是一个逻辑概念，由 group.id 标识。同一组内的消费者共同消费一个或多个 Topic 的全部分区，每个分区在同一时刻只能被组内的一个消费者持有。这种“分区独占”模型保证了消息的顺序消费，同时允许组内消费者数量动态伸缩。

特性	说明
分区独占	一个 Partition 只能分配给同一组内的一个 Consumer
水平扩展	增加 Consumer 数量可提升消费并行度，但不超过分区总数
Rebalance 触发	消费者加入/离开、分区数变更、订阅 Topic 变更时触发
位移提交	组内消费者共享位移提交主题 `__consumer_offsets`

堆积诊断提示： 当消费组内消费者数量大于分区总数时，多余的消费者会处于空闲状态，不参与任何分区消费。此时增加消费者无法提升吞吐，反而可能因 Rebalance 频率增加导致短暂堆积。

4.2 分区分配策略：四种核心算法对比

Kafka 提供了四种内置分配策略，通过 partition.assignment.strategy 配置指定。不同策略在均衡性、Rebalance 影响范围、粘性方面差异显著。

策略名称	类名	核心逻辑	Rebalance 影响	适用场景
Range	`RangeAssignor`	按 Topic 独立排序，分区数除以消费者数，前 N 个消费者多分一个	全量 Rebalance	分区数均匀、消费者数稳定的简单场景
RoundRobin	`RoundRobinAssignor`	所有 Topic 分区统一排序，轮询分配给消费者	全量 Rebalance	多 Topic 订阅、分区数相近的场景
Sticky	`StickyAssignor`	在保持分区分配尽可能不变的前提下，尽量均衡	部分 Rebalance	频繁 Rebalance、对消费中断敏感的场景
CooperativeSticky	`CooperativeStickyAssignor`	增量式 Rebalance，分两轮完成，避免 Stop-The-World	增量 Rebalance	大规模集群、追求高可用、Kafka 2.4+ 推荐

4.3 Range 策略：按 Topic 独立分配

Range 是默认策略（Kafka 2.4 之前）。它将每个 Topic 的分区列表按字典序排序，然后计算每个消费者应分配的分区数：分区数 / 消费者数，余数依次分配给前几个消费者。

示例： Topic-A 有 5 个分区（p0-p4），3 个消费者（C1、C2、C3）。

C1：p0, p1
C2：p2, p3
C3：p4

当订阅多个 Topic 时，Range 策略会为每个 Topic 独立执行上述逻辑，导致消费者之间分区数差异被放大。

堆积风险： 订阅 3 个 Topic，每个 5 分区，3 个消费者。C1 分配 6 个分区，C3 分配 3 个分区。C3 空闲而 C1 过载，容易形成单点堆积。

4.4 RoundRobin 策略：全局轮询

RoundRobin 将所有订阅 Topic 的全部分区统一排序，然后按消费者顺序轮询分配。它要求所有消费者订阅相同的 Topic 列表，否则分配结果可能不均衡。

示例： Topic-A（p0-p2）、Topic-B（p0-p2），2 个消费者（C1、C2）。

C1：A-p0, A-p2, B-p1
C2：A-p1, B-p0, B-p2

RoundRobin 在订阅 Topic 一致时均衡性优于 Range，但每次 Rebalance 仍会全量重新分配，导致所有消费者短暂停止消费。

4.5 Sticky 策略：粘性优先

Sticky 策略的目标是：在保证分区分配尽可能均衡的前提下，最小化分区移动。它通过贪心算法，优先保留已有分配关系，只在必要时调整。

优势：

减少 Rebalance 期间的分区移交次数
降低重复消费和位移提交冲突的概率
对消费者状态缓存友好

示例： 原有 3 个消费者，C3 宕机后，Sticky 策略会尽量保持 C1、C2 的现有分区不变，只将 C3 的分区重新分配给 C1、C2。

4.6 CooperativeSticky 策略：增量 Rebalance

CooperativeSticky 是 Kafka 2.4 引入的推荐策略，也是 Kafka 3.0+ 的默认策略。它基于 Sticky 的粘性思想，但将 Rebalance 过程拆分为两轮，实现增量式协调。

两轮流程：

第一轮： 消费者加入组，协调器计算新分配方案，但只通知消费者“需要撤销的分区”。
第二轮： 消费者撤销指定分区后，协调器将撤销的分区分配给新消费者。

整个过程不需要所有消费者同时停止消费，实现了 无中断 Rebalance。

  性能调优建议： 对于大规模集群（消费者数 > 50，分区数 > 1000），务必使用 CooperativeStickyAssignor。它可将 Rebalance 时间从秒级降至毫秒级，显著减少堆积波动。

4.7 分配策略配置与代码示例

在 Java Consumer 客户端中，通过 Properties 设置策略：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

// 设置 CooperativeSticky 策略（Kafka 2.4+ 推荐）
props.put("partition.assignment.strategy",
    "org.apache.kafka.clients.consumer.CooperativeStickyAssignor");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("topic-a", "topic-b"));

在 Spring Kafka 中，通过 ConcurrentKafkaListenerContainerFactory 配置：

@Bean
public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory(
        ConsumerFactory<String, String> consumerFactory) {
    ConcurrentKafkaListenerContainerFactory<String, String> factory =
            new ConcurrentKafkaListenerContainerFactory<>();
    factory.setConsumerFactory(consumerFactory);
    // 设置 CooperativeSticky 策略
    factory.getContainerProperties().setConsumerRebalanceListener(
            new CooperativeStickyAssignor());
    return factory;
}

4.8 堆积诊断：分配策略引发的典型问题

现象	可能原因	诊断方法	解决方案
部分消费者 Lag 持续增长，其他消费者空闲	Range 策略在多 Topic 下分配不均	查看 `kafka-consumer-groups --describe` 分区分配	切换为 RoundRobin 或 Sticky 策略
消费者频繁加入/离开，消费吞吐波动大	全量 Rebalance 导致所有消费者暂停	观察日志中 Rebalance 频率	使用 CooperativeSticky 策略
Rebalance 后大量重复消费	Sticky 策略未启用，分区移交导致位移未提交	检查位移提交间隔与 Rebalance 时间戳	启用 Sticky 或 CooperativeSticky，缩短 `auto.commit.interval.ms`
消费者数超过分区数，部分消费者永远空闲	消费者数 > 分区总数	对比消费者数与分区数	减少消费者数或增加分区数

  最佳实践： 在 Kafka 2.4+ 版本中，始终将 partition.assignment.strategy 设置为 CooperativeStickyAssignor。它结合了粘性分配与增量 Rebalance 的优势，是生产环境最安全、最高效的选择。

4.9 总结：选型决策矩阵

场景	推荐策略	理由
单 Topic，消费者数稳定	Range 或 RoundRobin	实现简单，分配均衡
多 Topic，消费者订阅一致	RoundRobin	全局均衡，避免 Range 的倾斜
频繁 Rebalance，对中断敏感	Sticky	减少分区移动，降低重复消费
大规模集群，高可用要求	CooperativeSticky	增量 Rebalance，无中断消费
Kafka 3.0+ 新项目	CooperativeSticky（默认）	官方推荐，兼容性最佳

消费组与分区分配策略是 Kafka 消费端性能的基石。错误的策略选择会导致分区分配不均、Rebalance 频繁、消费中断时间过长，最终表现为消息堆积。下一层我们将深入消费端参数调优，从 fetch.min.bytes、max.poll.records 等核心参数入手，进一步压榨消费吞吐。