1. 课程导学：热Key问题与任务去重的背景、课程目标与学习路径
1.1 为什么热Key与任务去重是Redis生产级必修课
在Redis的实际生产运维中，有两个问题几乎每个高并发团队都会遇到：热Key 和 任务重复消费。前者可能导致单节点CPU打满、缓存雪崩；后者则会造成数据不一致、重复通知、资源浪费。本课程将围绕这两个核心痛点，结合消息队列与Redis索引机制，给出系统化的解决方案。
课程核心定位： 本课程不是Redis基础入门，而是面向中高级开发/架构师的实战进阶课。你需要具备Redis基本数据结构、消息队列基本概念（如生产者/消费者模式）的认知。
1.2 热Key问题全景：从现象到根因
热Key（Hot Key）是指Redis中某个Key在短时间内被大量并发请求访问，导致该Key所在分片（或单节点）负载远高于其他分片。典型场景包括：
- 秒杀/抢购： 商品库存Key被数万用户同时读写。
- 热点新闻/榜单： 某条微博或短视频的点赞/阅读Key瞬间流量激增。
- 全局计数器： 如日活统计、全局ID生成器。
- 分布式锁： 高并发下对同一锁Key的争抢。
| 热Key影响维度 | 具体表现 | 后果等级 |
|---|---|---|
| CPU | 单节点CPU使用率飙升至90%+，请求排队 | 严重 |
| 网络带宽 | 出/入流量打满，其他Key请求被限流 | 严重 |
| 内存 | 热Key关联的大Value频繁序列化/反序列化 | 中等 |
| 集群稳定性 | 单分片故障引发数据倾斜，甚至集群雪崩 | 灾难 |
常见误区： 很多人认为热Key只出现在“大流量”场景。实际上，即使QPS只有几千，如果Key的Value很大（如1MB+），或者操作复杂度高（如ZUNIONSTORE），同样会形成热Key。
1.3 任务去重：消息队列中的“幽灵”问题
在消息队列（如Redis Stream、Kafka、RabbitMQ）中，任务去重 是指确保同一条消息不会被消费端重复处理。重复消费的常见原因包括：
- 消费者宕机重启： 未提交offset，重启后重新拉取旧消息。
- 网络超时重试： 生产者未收到ack，重复发送。
- 消息队列的“至少一次”语义： 如Kafka默认保证At-Least-Once。
- 业务幂等设计缺失： 消费逻辑本身不是幂等的（如扣库存、发短信）。
传统去重方案（如数据库唯一索引、布隆过滤器）在Redis消息队列场景下存在性能瓶颈或误判风险。本课程将重点讲解如何利用Redis索引结构（如ZSET、String+TTL）实现高性能、低延迟的任务去重。
1.4 课程目标与学习路径
通过本课程，你将掌握以下核心能力：
- 热Key发现： 使用Redis自带命令、客户端统计、代理层监控等手段定位热Key。
- 热Key治理： 本地缓存、Key分散、读写分离、二级索引等策略。
- 任务去重设计： 基于Redis的幂等令牌、滑动窗口去重、Bloom Filter去重。
- 消息队列集成： 将去重逻辑无缝嵌入Redis Stream / Kafka消费端。
- 生产级落地： 性能压测、内存控制、异常处理、监控告警。
学习路径分为四个阶段：
| 阶段 | 章节范围 | 核心产出 |
|---|---|---|
| 基础篇 | 第1-5章 | 热Key与去重概念、Redis索引原理、消息队列选型 |
| 热Key实战篇 | 第6-14章 | 热Key发现工具、本地缓存+Redis二级缓存、Key散列策略 |
| 去重实战篇 | 第15-24章 | ZSET去重、String+TTL去重、Bloom Filter去重、Stream集成 |
| 进阶与运维篇 | 第25-30章 | 性能调优、集群热Key均衡、去重监控、故障演练 |
1.5 热Key与任务去重的技术关联
热Key和任务去重看似是两个独立问题，但在Redis消息队列场景下存在深层关联：
- 去重Key本身可能成为热Key： 如果所有消费者都去读写同一个去重Key（如全局幂等集合），该Key会变成新的热Key。
- 热Key治理策略可用于去重优化： 如将去重Key分散到多个分片，避免单点瓶颈。
- 消息队列的背压机制： 热Key导致消费变慢，消息积压，进而触发重复消费的概率增加。
因此，本课程将两个主题放在一起讲解，帮助你建立系统性思维，而不是孤立地看待每个问题。
1.6 课程特色与学习建议
- 代码驱动： 每章都配有可运行的Java/Python示例代码，重点章节提供压测脚本。
- 对比分析： 对同一问题给出多种方案（如去重：ZSET vs Bloom Filter vs String+TTL），并给出选型建议。
- 避坑指南： 每个方案都会列出生产环境中的常见陷阱（如内存泄漏、大Key、慢查询）。
- 动手实践： 建议你准备一个Redis 6.0+ 环境（单机或集群），跟随课程进行实验。
学习建议： 不要跳过基础篇直接看实战。热Key和去重的很多方案都依赖于对Redis底层数据结构（如ZSET的跳表、String的编码）的理解。建议先花30分钟复习Redis核心数据结构。
1.7 预备知识清单
| 知识领域 | 具体要求 | 推荐复习资源 |
|---|---|---|
| Redis基础 | 熟悉String、List、Set、ZSet、Hash的常用命令与时间复杂度 | Redis官方文档 / 《Redis设计与实现》 |
| 消息队列 | 理解生产者/消费者、offset、ACK、重试机制 | Kafka官方文档 / RabbitMQ教程 |
| Java/Python | 能阅读和运行简单的Redis客户端代码（Jedis/Redis-py） | 菜鸟教程 / 官方SDK示例 |
| Linux基础 | 能使用redis-cli、查看CPU/内存、执行简单脚本 | 《鸟哥的Linux私房菜》基础篇 |
准备好了吗？让我们从第2章开始，深入Redis索引的底层原理，为热Key分析和任务去重打下坚实基础。