4、消息队列延迟排查：Kafka/Pulsar/RocketMQ的消费延迟、分区倾斜、消费者组Rebalance导致的延迟

消息队列（MQ）是实时特征系统的核心数据管道。消费延迟、分区倾斜和消费者组 Rebalance 是导致特征数据到达时间超出阈值的三大元凶。本章从这三类问题的根因出发，给出可操作的排查路径与修复手段。

4.1 消费延迟的通用排查框架

无论使用哪种 MQ，消费延迟的排查都可以从以下四个维度展开：

4.2 Kafka 延迟排查要点

4.2.1 消费延迟指标

Kafka 原生不提供消费延迟的绝对值，通常通过 consumer_lag（消费者落后生产者的消息数）来间接衡量。关键命令：

# 查看消费者组状态与 lag
kafka-consumer-groups --bootstrap-server localhost:9092 \
  --group feature-group --describe

# 输出示例
GROUP           TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG
feature-group   user-features   0          1500            2000            500
feature-group   user-features   1          1800            2000            200

4.2.2 分区倾斜排查

当某个分区的 LAG 远高于其他分区时，大概率存在分区倾斜。常见原因：

• 消息 Key 分布不均：热点 Key 导致大量消息涌入同一分区。
• 消费者线程数不足：分区数 > 消费者线程数，部分分区无消费者处理。
• Leader 副本分布不均：部分 Broker 承载过多 Leader 分区，磁盘 IO 成为瓶颈。

4.2.3 Rebalance 导致延迟

Kafka 消费者组 Rebalance 期间，所有消费者停止消费，直到新分配完成。频繁 Rebalance 会直接产生“消费空窗期”。

• 触发条件：消费者加入/离开、分区数变更、订阅 Topic 变更。
• 排查指标：rebalance-latency-avg、rebalance-rate-per-hour。
• 优化手段：增大 session.timeout.ms（默认 45s）、使用静态成员 group.instance.id、升级至 Cooperative Rebalance 协议。

4.3 Pulsar 延迟排查要点

4.3.1 消费延迟指标

Pulsar 提供 Backlog（积压消息数）和 Unacknowledged Messages（未确认消息数）两个核心指标。通过 pulsar-admin 查看：

# 查看 Topic 积压
pulsar-admin topics stats persistent://public/default/user-features

# 关键字段
"backlogSize": 5000,
"unackedMessages": 200,
"subscriptions": {
  "feature-sub": {
    "msgBacklog": 4800,
    "unackedMessages": 150
  }
}

4.3.2 分区倾斜排查

Pulsar 的分区倾斜通常由 Key 共享订阅模式下的 Hash 不均匀导致。排查步骤：

1. 使用 pulsar-admin topics partitioned-stats 查看每个分区的 backlog 和 rateIn。
2. 若某个分区 backlog 持续增长，检查该分区的生产者是否使用了固定 Key。
3. 考虑切换至 Key_Shared 订阅 并启用 auto-split-hash 功能。

4.3.3 Rebalance 导致延迟

Pulsar 的消费者组 Rebalance 机制与 Kafka 不同：

• Shared 订阅：消费者动态分配消息，无需 Rebalance，但存在消息分发不均。
• Key_Shared 订阅：当消费者加入/离开时，会触发 Key 分片重新分配，期间该消费者负责的 Key 暂停消费。
• Failover 订阅：主消费者宕机后，备用消费者接管所有分区，切换时间取决于 ackTimeout 和 nackRedeliveryDelay。

4.4 RocketMQ 延迟排查要点

4.4.1 消费延迟指标

RocketMQ 通过 Diff（消费落后消息数）和 LastTimestamp（最后消费时间）衡量延迟。使用 mqadmin 命令：

# 查看消费者组消费进度
mqadmin consumerProgress -n localhost:9876 -g feature-group

# 输出示例
#Topic           BrokerName               QueueId  ConsumerGroup    Diff    LastTimestamp
user-features    broker-a                 0        feature-group    1200    2025-03-21 10:30:00
user-features    broker-a                 1        feature-group    50      2025-03-21 10:35:00

4.4.2 分区倾斜排查

RocketMQ 的队列（Queue）是物理分区。倾斜排查要点：

• 队列数 < 消费者数：部分消费者空闲，部分消费者过载。
• 消息顺序消费：全局顺序消息强制写入单一队列，导致该队列成为瓶颈。
• Broker 负载不均：使用 mqadmin clusterInfo 查看各 Broker 的队列分布。

4.4.3 Rebalance 导致延迟

RocketMQ 的 Rebalance 由客户端定时触发（默认 20s 一次）。当消费者数量变化时，队列重新分配期间消费中断。关键参数：

4.5 三类 MQ 延迟排查对比总结