4. 分布式存储硬件选型与成本估算：磁盘、SSD、NVMe、CPU/内存/网络对容量的影响
硬件选型直接影响容量规划的有效性和总拥有成本（TCO）。面试中需要展示从业务负载推导硬件配置、权衡性能/容量/成本的能力。本章拆解核心硬件要素的容量影响逻辑，提供可复用的回答框架。
| 硬件类型 | 容量影响方式 | 成本关键因子 | 典型选型场景 |
|---|---|---|---|
| 磁盘 (HDD) | 单盘容量密度（12-22TB），适合冷/温数据 | $/GB 最低，但功耗/机架空间占用高 | 备份、归档、大文件存储 |
| SATA SSD | 容量 1-8TB，延迟μs级，写入寿命约束 | $/GB 居中，性能/功耗比优秀 | 混合存储池、热温数据分层 |
| NVMe SSD | 容量 1-30TB，极高 IOPS 与低延迟 | $/GB 最高，适合高并发元数据/缓存 | 块存储、数据库、OLTP |
| CPU / 内存 | 内存决定元数据缓存量与去重粒度 | 大内存（≥256GB）提升有效容量利用率 | 纠删码计算、快照去重场景 |
| 网络 (25/100GbE) | 带宽限制数据平衡速度，影响写放大系数 | 万兆/百兆端口成本差异 3-5 倍 | 跨机房复制、NVMe-oF 架构 |
面试问答 · 常规章节
Q1：如何为分布式存储系统选择合适的磁盘、SSD 和 NVMe 组合？请从成本与容量影响角度说明。
考察点 硬件分层设计能力、对介质特性的理解、TCO 意识。
回答框架 ① 分析访问热度和IO特征 → ② 划分热/温/冷分层 → ③ 匹配介质（NVMe热/SSD温/HDD冷） → ④ 计算有效容量与写放大量 → ⑤ 汇总TCO。
示例回答 视频监控场景：热数据（7天）用NVMe做写缓存，温数据（30天）用SATA SSD，冷数据用12TB HDD。容量规划时需考虑介质写放大系数：NVMe写放大≈1.2，HDD≈1.5，再乘以预留空间30%作为有效容量依据。
↳ 可能追问： 如果客户要求全部上NVMe你会怎么说服？你如何量化写放大对实际容量利用率的影响？
⚠️ 避坑提醒： 不要只依赖厂商标称容量，必须加入格式化损失（≈7%）、预留空间、故障域副本/EC开销。忽略写放大系数是常见错误。
Q2：CPU 和内存配置如何影响存储容量规划？请举例说明。
考察点 对计算资源与存储协同的理解、去重/压缩效率评估。
回答框架 ① 元数据缓存占内存，影响支持的最大文件/对象数量 → ② 纠删码编码需CPU，影响有效写入吞吐 → ③ 去重/压缩节省容量但消耗CPU → ④ 给出比例经验值。
示例回答 某对象存储集群规划：每1TB原始容量需至少2GB内存用于元数据缓存；开启在线去重后，CPU至少32核/节点，同时容量缩减率2:1可降低有效容量需求。内存不足会溢出到磁盘，导致写放大4-6倍。
↳ 可能追问： CPU 核数与内存大小的配比是如何实验得出的？如果使用硬件加速卡（QAT）会影响容量成本吗？
⚠️ 避坑提醒： 不要为了省钱过度降低CPU规格，会导致去重/压缩功能无法开启，反而增加存储采购成本。建议按“CPU利用率不超过70%”反推核数。
Q3：网络带宽（25GbE vs 100GbE）如何影响存储容量规划？如何估算成本差异？
考察点 网络瓶颈对数据平衡的影响、带宽成本意识。
回答框架 ① 计算单节点带宽瓶颈（总带宽 vs 磁盘聚合带宽） → ② 数据重平衡/Rebuild时间要求 → ③ 根据带宽需求选型（25/50/100G） → ④ 估算光模块与交换机端口成本差异。
示例回答 规划48节点Ceph集群：预计每节点500MB/s写入，若使用25GbE（≈3GB/s）可满足3倍冗余，Rebuild 4TB盘仅需20分钟；若用100GbE成本增加60%但Rebuild更快。通常推荐前端25G+后端100G混合方案平衡成本。
↳ 可能追问： 如果存储节点数量超过100台，网络架构会如何影响容量利用率？RoCEv2相对于TCP在容量规划中有什么不同？
⚠️ 避坑提醒： 不可忽略交换机上行带宽收敛比。若收敛比超过4:1，实际有效带宽仅为端口带宽的1/4，容易导致Rebuild期间集群不可用。
项目案例 · 真实模板
项目名称：某视频云存储平台容量规划与硬件选型
业务背景：支持百万级摄像头视频回传，数据保留180天，需要混合读写（写>读），延迟P99<50ms。
规模指标： 原始数据量 80PB，副本策略 EC(4+2)，有效容量需求 120PB；节点数 180台；带宽需求写入 60GB/s。
技术栈： Ceph (Pacific) + NVMe (热数据缓存) + SATA SSD (加速层) + HDD (冷数据) + 25GbE 前端 + 100GbE 后端。
核心难点： 写放大与HDD寿命平衡；热数据窗口时间动态调整；在固定TCO下优化性能/容量比值。
面试高频追问
- 为什么选择 EC(4+2) 而不是三副本？容量节省 40%，写放大更可控。
- NVMe 缓存容量如何计算？基于24小时热数据总量 × 1.2（写放大） + 20%余量。
- 网络瓶颈如何解决？使用100GbE后端环网，每节点2口聚合实现6GB/s有效带宽。
- 如果客户预算缩减30%，你如何调整选型？增加HDD比例并延长热数据窗口降至3天。
可迁移回答话术 “在我负责的视频云平台项目中，我们基于写负载模型和成本约束，设计了三层介质混合方案：NVMe处理写缓存，SSD作为热数据加速，HDD提供大容量。通过调整分层时间窗口和EC参数，在满足性能SLA的前提下将TCO降低32%。关键经验是：硬件选型必须从业务IO走向推导，而非简单堆配置。”