4. HPE ProLiant节点存储集成
在AI与HPC集群中，计算节点的存储子系统承担着三类截然不同的职责：承载操作系统与引导镜像、为训练/推理任务提供本地高速暂存、以及通过高速网络接入分布式存储。HPE ProLiant Gen10/Gen11节点通常同时具备这三条路径，理解它们各自的硬件位置、控制器归属和带宽特征，是避免"盘插对了但性能上不去"的关键。
一、三条存储路径的物理归属
从主板视角看，ProLiant节点的存储接口可分为三组：CPU直连的PCIe通道、PCH（平台控制器中枢）提供的SATA/PCIe通道，以及独立RAID控制器（如HPE Smart Array P408i-a/P816i-a）挂载的SAS/SATA背板。NVMe本地盘通常走CPU直连PCIe 4.0/5.0 x4，单盘顺序读可达6～14 GB/s；NS204i这类M.2引导器件则通过专用插槽接入，用于镜像化引导；而RAID控制器管理的SAS/SATA盘组，更多用于容量型数据盘或需要硬件冗余的场景。
需要特别注意的是：NVMe盘不经过RAID控制器。若把NVMe盘误接到RAID背板，要么无法识别，要么被降级为SATA模式，性能损失可达一个数量级。因此在规划阶段就要明确每块盘的"归属控制器"。
二、NVMe本地盘：性能与用途
在AI训练场景中，NVMe本地盘最常见的用途是数据预取缓存和检查点（checkpoint）暂存。以HPE ProLiant DL380 Gen11为例，前置8个E3.S NVMe槽位可提供约50～100 GB/s的聚合读带宽（取决于盘型号与PCIe代际）。若训练数据集为2 TB，从分布式存储读取一次约需数十秒到数分钟，而写入本地NVMe后，后续epoch的读取可缩短到秒级。
配置NVMe时需关注三点：其一，确认BIOS中PCIe bifurcation（通道拆分）设置与背板拓扑匹配，否则部分槽位不可见；其二，Linux下用nvme list和nvme id-ctrl确认盘的健康状态与固件版本；其三，若使用RAID或软RAID（mdadm）对NVMe做冗余，需评估写放大对寿命的影响，AI场景通常更推荐单盘直用加应用层副本。
三、HPE NS204i：引导镜像的专用方案
NS204i是一款PCIe插卡式引导器件，内置两个M.2 NVMe盘并做硬件RAID1。它的价值在于：把操作系统从数据盘中"剥离"出来，避免OS盘故障导致整节点不可用，同时释放前置槽位给数据盘。在HPC集群中，节点通常无盘化或使用NS204i本地引导，再通过PXE或镜像下发统一管理。
实际部署时，NS204i在BIOS中会显示为一个独立的RAID控制器（HPE NS204i），其下有一个逻辑卷。安装OS时直接选择该逻辑卷即可。需要注意的是，NS204i的容量通常为2×480 GB或2×960 GB，仅够安装OS和基础软件，不要将训练数据或日志写入NS204i，否则会加速M.2盘磨损并影响引导稳定性。
四、RAID控制器与数据盘组
Smart Array P408i-a等控制器适合管理SAS/SATA数据盘，提供硬件RAID 0/1/5/6/10。在HPC节点中，这类盘组常用于：本地日志盘、临时scratch空间、或作为分布式存储的缓存层。配置时通过ssacli或iLO界面创建逻辑卷，例如：
# 查看控制器与物理盘
ssacli ctrl all show config
# 创建RAID5逻辑卷（示例）
ssacli ctrl slot=0 create type=ld drives=1I:1:1-1I:1:4 raid=5
# 查看逻辑卷状态
ssacli ctrl slot=0 ld all showRAID5在4块盘时可用容量为3块盘，写性能受限于校验计算，适合读多写少场景；若用于检查点写入，建议RAID10以获得更好的写带宽。此外，需确认控制器的缓存模块（FBWC）已安装并启用写缓存，否则写性能会显著下降。
五、与分布式存储的对接
分布式存储（Lustre、GPFS、Ceph等）通过高速网络接入节点，通常不经过本地RAID控制器。对接要点包括：
- 网络带宽匹配：若分布式存储后端为200 GbE，节点需配置对应速率的HCA或网卡，并确认PCIe插槽带宽足够（如PCIe 4.0 x16约32 GB/s，可满足400 GbE）。
- 客户端挂载参数：Lustre常用
mount -t lustre并指定flock、localflocks等参数；GPFS需先mmcrcluster再mmmount。挂载点建议独立于本地盘，如/mnt/lustre。 - 本地缓存策略：可将NVMe盘作为分布式存储的客户端缓存（如Lustre的PCC或自研缓存层），减少重复读取。
- 验证方法：用
dd或fio测试挂载点顺序读写，对比本地NVMe与分布式存储的带宽差异，确认瓶颈位置。
/data。这样既保证了引导可靠性，又兼顾了训练数据的读取速度与容量扩展。
六、规划检查清单
| 检查项 | 确认内容 | 常见问题 |
|---|---|---|
| NVMe槽位归属 | 确认走CPU直连PCIe，非RAID背板 | 误接RAID背板导致降速或不可见 |
| NS204i状态 | RAID1正常，固件为最新 | 单盘故障未告警，引导失败 |
| RAID控制器缓存 | FBWC已安装并启用写缓存 | 写性能低于预期 |
| 分布式存储挂载 | 网络带宽、挂载参数、权限正确 | 挂载点不可写或带宽不达标 |
| 带宽预算 | 本地NVMe + 网络 + RAID总带宽不超PCIe上限 | 多路径争抢导致整体性能下降 |
存储集成不是简单的"插盘即用"，而是要在节点规划阶段就明确每条路径的控制器归属、带宽预算和用途分工。NVMe负责速度，NS204i负责可靠引导，RAID负责容量与冗余，分布式存储负责扩展与共享——四者各司其职，才能让AI/HPC节点在训练与推理中保持稳定的数据供给。