1. 课程导学：课程背景、目标与整体架构概览
1.1 课程背景：为什么需要关注热点Key分片？
在报表导出服务中，大量并发请求往往集中在少数几个热门报表或数据维度上，形成典型的热点Key问题。当Redis单节点承载的读写请求超过其处理能力时，会导致请求超时、服务雪崩，甚至整个缓存层不可用。传统的一致性哈希分片虽然能均匀分布数据，但无法动态应对热点Key的流量倾斜。
核心痛点： 报表导出场景下，热点Key的QPS可达普通Key的100倍以上，单节点CPU使用率飙升，而其他节点资源闲置。
1.2 课程目标：学完本课程你将掌握
- 热点Key识别与监控：基于Redis的
hotkey命令、客户端采样、代理层统计等方案。 - 分片策略设计：从静态分片到动态分片，从一致性哈希到本地缓存+分片组合。
- 报表导出服务集成：在Spring Boot应用中无缝接入热点Key分片中间件。
- 高可用与容灾：分片节点故障时的数据迁移与请求重试机制。
- 性能压测与调优：通过JMeter/Gatling验证分片效果，优化分片粒度。
1.3 整体架构概览
下图展示了报表导出服务中Redis热点Key分片策略的整体架构。核心思路是在Redis集群之上增加一层分片路由层，根据Key的访问热度动态调整分片映射关系，将热点Key分散到多个物理节点上。
1.4 核心组件与职责
| 组件 | 职责 | 关键技术点 |
|---|---|---|
| 报表导出客户端 | 发起报表导出请求，携带报表ID与查询参数 | 连接池管理、请求重试、超时控制 |
| 分片路由层 | 识别热点Key，动态选择分片策略，转发请求 | 一致性哈希 + 本地缓存 + 热点Key子分片表 |
| Redis分片节点 | 存储报表数据，处理读写请求 | 主从复制、持久化、内存淘汰策略 |
| 监控与自适应调度层 | 采集各节点QPS、延迟、内存使用率，触发分片调整 | 滑动窗口统计、阈值告警、分片映射更新 |
1.5 分片策略演进路线
本课程将按照以下路线逐步深入，每个阶段都配有完整的代码实现与压测数据：
- 基础分片：一致性哈希 + 虚拟节点，解决均匀分布问题。
- 热点感知：客户端采样 + Redis hotkey命令，识别Top N热点Key。
- 动态子分片：将热点Key拆分为N个子Key（如
report:123:shard:0~report:123:shard:7），分散到不同节点。 - 自适应调度：根据实时QPS自动调整子分片数量与映射关系。
- 容灾与降级：分片节点故障时，自动迁移热点Key子分片，并降级为本地缓存。
课程特色： 每章均提供可运行的Spring Boot示例代码，以及基于Docker Compose的Redis集群环境，方便你边学边练。
1.6 适用人群与前置知识
- 后端开发工程师：需要处理高并发缓存场景，提升系统稳定性。
- 架构师/技术负责人：设计分布式缓存方案，解决热点Key瓶颈。
- 运维/SRE：监控与调优Redis集群，保障服务SLA。
前置要求： 熟悉Redis基本数据结构与命令，了解一致性哈希原理，具备Java/Spring Boot基础。