1. 课程导论：什么是冷热分层存储、为什么需要冷热分层、课程目标与适用场景
1.1 冷热分层存储的定义
冷热分层存储是一种基于数据访问频率与价值衰减规律设计的存储架构策略。在 ELK 场景下，它将日志与指标数据按照时间维度或业务重要性划分为“热数据”与“冷数据”两类，分别部署在不同性能、不同成本的存储介质上。
| 数据类别 | 典型时间窗口 | 存储介质 | 访问模式 |
|---|---|---|---|
| 热数据 | 最近 7–30 天 | SSD / 高性能云盘 | 高频写入、实时检索、Dashboard 分析 |
| 冷数据 | 30 天以上至数月/数年 | HDD / 对象存储 / 归档存储 | 低频查询、合规审计、历史回溯 |
核心思想：用最合适的成本承载最匹配的负载。热节点追求 IOPS 与低延迟，冷节点追求容量与单位存储成本。
1.2 为什么需要冷热分层
ELK 集群在长期运行中面临三个不可回避的矛盾：
- 存储成本失控：全量数据使用 SSD 存储，每 TB 成本是 HDD 的 3–5 倍，且随着数据保留期延长呈线性增长。
- 写入性能瓶颈：所有数据写入同一层节点，当数据量超过节点写入吞吐上限时，集群出现写入拒绝、bulk 队列堆积。
- 查询效率下降：历史数据与实时数据混存，导致查询扫描范围过大，热查询被冷数据拖慢。
行业数据：根据 Elastic 官方白皮书，实施冷热分层后，存储成本平均降低 60%–70%，热查询响应时间缩短 40% 以上。
1.3 冷热分层 vs 传统单层架构
| 对比维度 | 传统单层架构 | 冷热分层架构 |
|---|---|---|
| 存储介质 | 全部 SSD | 热层 SSD + 冷层 HDD/对象存储 |
| 每 TB 月成本 | 约 $200–$400 | 热层 $200–$400 + 冷层 $20–$50 |
| 写入吞吐 | 受限于单层节点数 | 热层独立扩展，冷层异步写入 |
| 查询延迟（热数据） | 受冷数据干扰 | 稳定低延迟 |
| 数据保留周期 | 通常 ≤ 30 天（成本限制） | 可延长至 1 年以上 |
1.4 课程目标
通过本课程，你将掌握以下核心能力：
- 架构设计：根据业务规模设计热节点与冷节点的拓扑、规格配比、网络规划。
- ILM 策略配置：编写基于时间、大小、滚动条件的索引生命周期策略，实现自动化分层。
- 迁移与调优：配置冷节点角色、调整段合并与存储阈值，保障迁移过程不影响热查询。
- 成本核算：基于实际硬件价格与数据量，计算冷热分层后的 TCO 节省。
- 故障排查：处理冷热集群中常见的写入拒绝、迁移滞后、磁盘水位不均等问题。
1.5 适用场景
| 场景 | 说明 | 推荐程度 |
|---|---|---|
| 业务日志长期合规存储 | 金融、医疗、政务等行业要求日志保留 1–7 年 | ★★★★★ |
| 大规模运维监控平台 | 每日产生 10TB+ 指标与日志，需要平衡性能与成本 | ★★★★★ |
| 多租户 SaaS 日志服务 | 不同客户对数据保留周期要求不同，需要灵活分层 | ★★★★☆ |
| 中小规模 ELK 单集群 | 数据量 1–5TB/天，希望通过分层延长保留周期 | ★★★★☆ |
| 实时性要求极高的 APM 场景 | 冷数据几乎不查询，但热数据要求毫秒级响应 | ★★★☆☆ |
注意：如果集群日均数据量低于 100GB 且保留周期不超过 15 天，冷热分层的收益有限，单层 SSD 架构更简单。建议在数据量超过 1TB/天或保留周期超过 30 天时引入分层。
1.6 课程内容概览
本课程共 30 章，分为四个阶段：
- 基础篇（第 1–8 章）：冷热分层原理、Elasticsearch 节点角色、ILM 基础配置。
- 实战篇（第 9–18 章）：集群部署、策略编写、迁移验证、性能压测。
- 进阶篇（第 19–25 章）：跨集群搜索、冻结索引、可搜索快照、成本优化。
- 运维篇（第 26–30 章）：监控告警、故障恢复、容量规划、案例复盘。
每章均包含可复用的配置代码、架构图、避坑指南与课后练习，帮助你从理论到落地完整掌握 ELK 冷热分层存储。