1. HPE ProLiant AI/HPC节点集成全景

在开始任何一台服务器的上架、布线或调优之前，先建立一张“全景地图”至关重要。HPE ProLiant AI/HPC 节点集成并不是把 GPU 插进机箱、把网线接上交换机那么简单，它是一条从需求定义到稳定交付的完整工程链路。本节的目标是让读者在动手之前，先看清这条链路上有哪些角色、哪些接口、哪些关键决策点，以及它们之间的先后依赖关系。

课程目标与学习路径

本课程围绕“把一台 ProLiant 服务器变成可用的 AI/HPC 计算节点”这一核心任务展开。学完之后，读者应当能够独立完成以下工作：根据工作负载判断节点形态（训练、推理、混合）；识别并核对 CPU、GPU、内存、NVMe、网卡之间的兼容性与带宽匹配；完成 GPU 与网卡的物理安装、供电与散热确认；配置 BIOS、iLO、固件基线；部署操作系统、驱动、CUDA/ROCm 栈与集群通信库；最后通过基准测试与健康检查判断节点是否达到交付标准。

学习路径遵循“先结构、后连接、再调优”的顺序。结构决定节点能装什么，连接决定数据怎么流动，调优决定实际能跑多快。三者顺序颠倒，往往会在后期返工。

核心术语速览

在 AI/HPC 语境下，几个术语会反复出现，先统一口径：

• 节点（Node）：一台独立的 ProLiant 服务器，是集群的最小计算单元。
• GPU 拓扑（GPU Topology）：GPU 之间、GPU 与网卡之间的物理连接方式，常见有 PCIe Switch、NVLink/NVSwitch、以及跨节点 RDMA 网络。
• NUMA 亲和性：CPU 内存控制器与 PCIe 设备之间的归属关系，直接影响 GPU 数据供给效率。
• RDMA：远程直接内存访问，InfiniBand 或 RoCE 是实现多节点 GPU 通信的基础。
• 固件基线（Firmware Baseline）：一组经过验证的 BIOS、iLO、网卡、GPU VBIOS 版本组合，是稳定性的前提。
• 集成生命周期：从规划、上架、配置、验证到交付运维的完整阶段划分。

典型拓扑：从单节点到集群

单节点内部，GPU 通常通过 PCIe Gen5 x16 接入 CPU 根复合体，或通过 NVSwitch 实现 GPU 间全互联。以一台 8 卡 HGX 节点为例，8 块 GPU 通过 NVLink 组成高带宽域，节点内 GPU 间带宽可达数百 GB/s；而节点间通信则依赖 8 张 400G InfiniBand 或 RoCE 网卡，每张网卡与一块 GPU 做 NUMA 亲和绑定，形成“GPU—网卡”一一对应的数据通道。

多节点集群中，所有计算节点接入同一套 InfiniBand 交换网络，存储节点通过 NVMe over Fabrics 或并行文件系统提供数据。管理网络与业务网络分离，iLO 走独立管理口，避免带外管理流量干扰训练流量。

集成生命周期：五个阶段的输入与出口

上图下半部分给出了集成生命周期的五个阶段。每个阶段都有明确的输入和出口条件，不能跳过。

规划阶段的输入是业务需求（模型规模、并行策略、存储吞吐），输出是一份兼容性清单：CPU 型号与 GPU 数量匹配、内存容量满足每 GPU 至少 2 倍显存、PCIe 通道数足够、电源功率留有余量。例如，8 卡 H100 节点通常需要 6×3000W 或 8×2200W 电源配置，规划阶段就要确认机柜供电是否到位。

上架阶段关注物理层：导轨安装、理线、液冷或风冷风道确认、GPU 辅助供电线连接。一个常见错误是 GPU 供电线未完全插入，导致训练中途掉卡。上架完成后应逐一检查每块 GPU 的供电指示灯和 iLO 健康状态。

配置阶段是集成工作的核心。需要依次完成：BIOS 中开启 Above 4G Decoding、SR-IOV、NUMA、PCIe ACS 等选项；将固件统一到 HPE 认证基线；安装 OS 后部署 GPU 驱动、CUDA/ROCm、NCCL/RCCL、OFED 驱动栈。配置顺序错误（如先装 NCCL 后装 OFED）会导致通信库无法加载。

验证阶段用数据说话。单节点内跑 nvidia-smi topo -m 确认 GPU 拓扑与预期一致；跑 nvbandwidth 或 all_reduce_perf 测量 GPU 间和节点间带宽；用 dcgmi diag 做 GPU 健康诊断。多节点则用 NCCL 测试脚本验证 AllReduce 带宽是否达到网卡线速的合理比例（通常 400G IB 下 AllReduce 效率在 80% 以上为正常）。

交付运维阶段建立监控基线：GPU 温度、功耗、ECC 错误计数、网卡丢包率、iLO 告警。任何一项偏离基线都应触发排查。固件升级必须整集群统一进行，避免版本碎片化导致通信异常。

从全景到动手

本节建立的全景图会在后续章节中反复引用。当你面对一台新到的 ProLiant 节点时，建议按“拓扑确认 → 生命周期阶段定位 → 当前阶段出口条件检查”的顺序推进。先看清 GPU、网卡、CPU 三者的连接关系，再判断自己处于五个阶段中的哪一个，最后确认该阶段的出口条件是否满足。这样能避免“装完系统才发现固件没升级”或“跑完测试才发现 NUMA 绑反”这类返工。

下一阶段的工作将从规划阶段的具体兼容性核对开始，把全景图中的每一个接口和参数逐一落实。