2. Kafka 核心概念回顾：Topic、Partition、Consumer Group 与 Offset
在深入限流实践之前，必须对齐 Kafka 的底层数据模型。Kafka 的限流能力并非独立功能，而是深度绑定在 Topic、Partition、Consumer Group 和 Offset 这四个核心原语之上。理解它们之间的协作关系，是设计低延迟限流策略的前提。
2.1 核心概念定义与职责
| 概念 | 定义 | 在限流中的角色 |
|---|---|---|
| Topic | 消息的逻辑分类，类似数据库中的表。一个 Topic 可被多个 Consumer Group 订阅。 | 限流策略的作用域边界。通常按 Topic 设置配额（Quota）。 |
| Partition | Topic 的物理分片，每个 Partition 是一个有序、不可变的日志文件。 | 并行度的最小单位。限流需要感知 Partition 分布，避免热点。 |
| Consumer Group | 一组消费者的逻辑集合，共同消费一个 Topic。组内消费者分摊 Partition。 | 限流的目标对象。Group 级别的配额控制整体消费速率。 |
| Offset | 消息在 Partition 内的唯一序号，表示消费位置。 | 限流回压的反馈信号。Offset 提交延迟可反映限流效果。 |
2.2 数据流与消费模型
下图展示了从 Producer 写入到 Consumer 消费的完整链路，重点标注了 Partition 与 Consumer Group 的映射关系：
2.3 Partition 与 Consumer Group 的分配规则
分配规则直接影响限流的均匀性。Kafka 默认使用 Range 或 RoundRobin 分配策略，但在低延迟场景下，推荐使用 StickyAssignor 以减少 Rebalance 抖动。
限流视角的分配原则：
- Partition 数 ≥ Consumer 数：保证每个 Consumer 都有数据可消费，避免资源浪费。
- 避免过度订阅：当 Consumer 数远大于 Partition 数时，大量 Consumer 空闲，限流配额无法生效。
- Rebalance 影响：Consumer 加入或离开会触发 Rebalance，期间消费暂停，限流策略需要容忍短暂吞吐波动。
2.4 Offset 提交与消费语义
Offset 是限流回压的关键反馈信号。Consumer 通过提交 Offset 告知 Broker 已消费的位置。Kafka 提供三种提交语义：
| 语义 | 提交时机 | 限流影响 |
|---|---|---|
| At-most-once | 处理消息前提交 | 限流可能导致消息丢失，不推荐用于模型服务。 |
| At-least-once | 处理消息后提交 | 限流回压时可能重复消费，需幂等处理。 |
| Exactly-once | 事务性提交 | 限流与事务结合，性能开销较大，适合高价值场景。 |
低延迟模型服务建议：使用 At-least-once 语义，配合幂等模型推理。限流时通过暂停 Poll 循环或降低 Fetch 请求频率来控制 Offset 提交速率，避免 Broker 端积压。
2.5 限流相关的关键参数
以下参数在后续限流配置中会反复出现，提前对齐：
# Broker 端限流参数（动态配置）
quota.producer.bytes.rate.default=1048576 # 默认 1MB/s 生产者配额
quota.consumer.bytes.rate.default=2097152 # 默认 2MB/s 消费者配额
# Consumer 端拉取参数（影响限流粒度）
fetch.max.bytes=52428800 # 单次拉取最大字节
max.poll.records=500 # 单次拉取最大记录数
max.poll.interval.ms=300000 # 最大拉取间隔，超时触发 Rebalance
注意：在低延迟模型服务中，max.poll.records 不宜设置过大。过大的拉取量会导致单次处理延迟飙升，限流策略无法精细控制。建议初始值设为 50~200，根据模型推理耗时动态调整。