📚 课程目录第3章存储硬件与介质

存储硬件与介质：HDD、SSD、NVMe、持久内存等存储介质的特性与选型

核心原理：从机械旋转到电子寻址的介质演进

分布式存储的底层性能天花板，由存储介质的物理特性决定。理解介质，是理解整个存储系统设计的前提。当前主流介质可分为四个代际：HDD（机械硬盘）依赖磁头和盘片的机械运动，寻址时间以毫秒计；SATA SSD 用闪存颗粒替代盘片，通过电子信号读写，延迟降至亚毫秒级；NVMe SSD 则进一步绕过了 SATA 控制器的协议瓶颈，直接通过 PCIe 总线与 CPU 通信，将队列深度从 32 提升至 65536，延迟进入微秒级；而持久内存（如 Intel Optane 持久内存）则位于内存与存储之间，支持字节级寻址，数据在断电后依然保留，延迟接近 DRAM。

选型的本质，是在容量成本、访问延迟与耐用性之间做权衡。HDD 的单位容量成本最低（约 0.02 美元/GB），但随机 IOPS 仅约 100-200；NVMe SSD 的随机读 IOPS 可达 100 万以上，但单位成本是 HDD 的 5-10 倍。持久内存则更贵，适合特定场景而非通用存储。

  关键物理差异：HDD 的随机读写受限于磁头寻道（平均 8-12ms），而 SSD 的随机读写不受物理位置影响，但受限于闪存块的擦写（Program/Erase）周期。NVMe 相比 SATA SSD 的最大优势并非闪存本身，而是协议栈的简化——SATA 协议基于 HDD 的指令集设计，每次命令需要 CPU 中断处理；NVMe 则支持多队列并行与中断聚合，大幅降低了软件开销。

方法流程：介质选型的量化评估框架

选型不能凭感觉，需要建立一套可量化的评估流程。推荐以下五步法：

定义工作负载特征：统计读写比例、IO 大小分布、随机/顺序访问模式、峰值 IOPS 与带宽需求。例如，OLTP 数据库以 8KB 随机读为主，而日志系统以 4KB 顺序写为主。
计算容量与性能需求：根据数据增长率规划 3 年容量；根据 P99 延迟要求反推介质类型。若要求 P99 延迟 < 1ms，则 HDD 直接出局。
评估耐用性（DWPD）：Daily Write Per Day 表示每天整盘写入次数。TLC 消费级 SSD 通常为 0.3-0.5 DWPD，企业级 TLC 为 1-3 DWPD，SLC 或 Optane 可达 10+ DWPD。写密集场景必须计算每日写入量是否超出寿命。
考虑功耗与空间：HDD 每盘功耗约 7-10W，NVMe SSD 约 5-8W，但 NVMe 在同等 IOPS 下功耗效率高出数十倍。机架空间有限时，高密度 NVMe 是必然选择。
全生命周期成本（TCO）：不仅看采购价，还要计算电力、散热、机架空间、维护成本。一个 2U 服务器可装 24 块 HDD（约 400TB），也可装 8 块 NVMe（约 60TB），但后者性能是前者的 100 倍以上。

案例场景：三种典型业务下的介质选型

业务场景	核心负载特征	推荐介质组合	关键理由
分布式数据库（如 TiDB、CockroachDB）	随机小 IO、高并发、低延迟要求	NVMe SSD（数据）+ 持久内存（WAL 日志）	NVMe 提供 100μs 级延迟；持久内存可让日志写入不落盘，大幅提升事务提交速度
对象存储（如 Ceph RGW、MinIO）	大文件顺序读写、容量优先	HDD（数据）+ NVMe（元数据/缓存）	对象数据用纠删码分散到 HDD 降低成本；元数据操作频繁，必须用 NVMe 加速
日志与监控系统（如 ELK、Prometheus）	顺序写为主、冷热数据分明	NVMe（热数据 7 天）+ HDD（冷数据归档）	日志写入带宽大，NVMe 可支撑高吞吐；历史日志查询少，HDD 足够

实操建议：在 Ceph 集群中，可将 OSD 分为两类：class-nvme 和 class-hdd。通过 CRUSH rule 将 RBD 镜像放置在 NVMe 池，将 RGW 数据放置在 HDD 池。使用 ceph osd crush class create 命令即可实现异构介质统一管理。

误区与复盘：介质选型中的常见陷阱

误区一：盲目追求全 NVMe 集群。某金融客户最初规划全 NVMe 方案，单节点成本超 20 万元。复盘发现其 80% 数据为超过 30 天未访问的冷数据，最终改为 NVMe 热层（20%）+ HDD 冷层（80%）的分层方案，成本下降 60%，P99 延迟仅增加 0.2ms。

误区二：忽略 SSD 的写放大效应。SSD 的闪存块必须以 4KB 为单位写入，但擦除以 4MB 的块为单位。随机小写会导致块内其他数据被搬移，产生 3-5 倍的写放大。若未预留 OP（Over-Provisioning）空间，SSD 寿命会急剧缩短。企业级 SSD 通常预留 7-28% 空间，消费级仅预留 7%。

误区三：持久内存当普通 SSD 用。持久内存（如 Intel Optane PMem）支持两种模式：Memory Mode（易失性，仅作内存扩展）和 App Direct Mode（持久化，需应用感知）。很多团队将其配置为 Memory Mode 后，发现性能不如 DRAM，且数据断电丢失，完全浪费了持久化特性。正确做法是使用 App Direct Mode，并配合 PMDK 库或文件系统（如 ext4 的 DAX 模式）进行字节级访问。

误区四：只看顺序带宽，忽略随机性能。HDD 的顺序读可达 250MB/s，看似不差，但随机读仅 0.5MB/s。分布式存储中，由于多客户端并发，实际到达磁盘的 IO 几乎都是随机的。因此，评估时必须使用 fio 等工具模拟真实随机负载，而非仅看厂商标称的顺序带宽。

# 使用 fio 模拟 4KB 随机写，验证 SSD 实际性能
fio --name=randwrite --ioengine=libaio --rw=randwrite --bs=4k \
    --size=10G --numjobs=8 --iodepth=32 --runtime=60 \
    --direct=1 --group_reporting

复盘总结：介质选型的核心原则是“以负载定介质，以成本定容量”。先分析 IO 特征，再匹配介质能力，最后用分层架构平衡性能与成本。任何单一介质都无法完美满足所有场景，分布式存储的架构优势恰恰在于能够灵活组合不同介质，让每类数据都运行在最合适的硬件之上。