3. 消息队列基础：消息队列的作用、常见MQ对比（Kafka、RabbitMQ、Redis Stream）
3.1 消息队列的核心作用
消息队列（Message Queue，MQ）是分布式系统中实现异步解耦、流量削峰和数据缓冲的核心中间件。在Redis热Key分析与任务去重场景中，MQ承担着将突发流量转化为有序、可控任务流的关键角色。
MQ在热Key场景下的三大价值：
- 削峰填谷：热Key瞬间QPS可达数万甚至数十万，MQ将请求排队，后端消费者按自身能力拉取处理，避免系统雪崩。
- 任务去重：通过MQ的消息ID或业务Key，结合Redis布隆过滤器或Set结构，实现消费幂等。
- 异步化：热Key检测、数据回写、缓存预热等耗时操作异步执行，不阻塞主请求链路。
3.2 主流消息队列对比
在Redis热Key分析系统中，选择MQ需要综合考虑吞吐量、延迟、持久化和运维复杂度。以下是Kafka、RabbitMQ、Redis Stream三者的核心对比：
| 对比维度 | Kafka | RabbitMQ | Redis Stream |
|---|---|---|---|
| 设计定位 | 分布式流处理平台 | AMQP消息代理 | Redis内置消息队列 |
| 吞吐量 | 百万级/秒（批量） | 万级/秒 | 十万级/秒（单机） |
| 延迟 | 毫秒级（批量） | 微秒级 | 微秒级（内存操作） |
| 消息持久化 | 磁盘顺序写，强持久化 | 磁盘+内存，可选持久化 | RDB/AOF持久化 |
| 消费模式 | Pull（拉模式） | Push/Pull 混合 | Pull（XREADGROUP） |
| 消息确认 | Offset提交 | ACK机制 | XACK确认 |
| 死信队列 | 需自建DLQ | 原生支持DLX | 需自建死信Stream |
| 运维复杂度 | 高（ZooKeeper依赖） | 中 | 低（复用Redis集群） |
| 适用场景 | 大数据流、日志收集、高吞吐 | 业务消息、任务调度、路由复杂 | 轻量级队列、热Key去重、缓存场景 |
选型建议：在Redis热Key分析与任务去重场景中，如果系统已使用Redis且对延迟敏感，优先选择Redis Stream；如果已有Kafka基础设施且需要高吞吐日志流，选择Kafka；如果路由规则复杂且需要灵活的死信处理，选择RabbitMQ。
3.3 Redis Stream 核心特性
Redis Stream是Redis 5.0引入的持久化消息队列数据结构，专为消息中间件场景设计。它结合了Kafka的消费者组概念和Redis的低延迟优势，是热Key去重场景的理想选择。
3.3.1 核心数据结构
- Stream：消息链表，每个消息有唯一ID（时间戳+序列号）
- Consumer Group：消费者组，组内消费者分摊消息处理
- Consumer：组内消费者，维护自己的待处理消息列表（PEL）
- Pending Entries List (PEL)：已投递但未确认的消息列表，用于故障恢复
3.3.2 常用命令示例
# 生产者：添加消息
XADD task_queue * key hotkey_001 value 100
# 创建消费者组
XGROUP CREATE task_queue hotkey_group $
# 消费者：读取消息
XREADGROUP GROUP hotkey_group worker-1 COUNT 1 BLOCK 5000 STREAMS task_queue >
# 消费者：确认消息
XACK task_queue hotkey_group 1700000000000-0
# 查看待处理消息
XPENDING task_queue hotkey_group - + 103.4 热Key去重场景中的MQ选型策略
注意：在热Key去重场景中，消息队列的幂等消费能力比吞吐量更重要。Redis Stream结合Redis自身的去重能力（Set/Bloom Filter）可以零额外依赖实现去重，这是Kafka和RabbitMQ不具备的天然优势。
3.4.1 选型决策流程
- 是否已有Redis集群？ → 是 → 优先选择Redis Stream（零运维成本）
- 是否需要高吞吐（>10万/秒）？ → 是 → 选择Kafka
- 是否需要复杂路由/死信？ → 是 → 选择RabbitMQ
- 是否需要消息回溯/重放？ → 是 → 选择Kafka或Redis Stream
- 团队运维能力？ → 弱 → 选择Redis Stream（复用Redis运维体系）
3.4.2 推荐组合方案
| 场景 | 推荐MQ | 去重方案 | 优势 |
|---|---|---|---|
| 轻量级热Key去重 | Redis Stream | Redis Set + XACK | 零额外组件，微秒级延迟 |
| 高吞吐日志型去重 | Kafka | Kafka + Redis Bloom Filter | 百万级吞吐，持久化可靠 |
| 复杂业务路由去重 | RabbitMQ | RabbitMQ + Redis Set | 灵活路由，死信处理完善 |