3. GPU加速节点硬件架构
在HPE ProLiant AI与高性能计算节点中，GPU加速节点的硬件架构决定了算力能否被充分释放。与通用服务器不同，GPU节点的设计核心不再是“把GPU插进PCIe插槽”，而是围绕GPU基板、高速互联结构和CPU-GPU数据通路进行整体规划。理解这三层结构，是判断一台节点能否胜任大模型训练、推理或HPC仿真的基础。
GPU基板：算力与显存的物理载体
GPU基板（GPU Baseboard）是承载GPU模块、显存、供电与互联芯片的物理平台。在HPE ProLiant的GPU节点中，常见形态包括SXM模块基板和OAM模块基板。以NVIDIA HGX平台为例，一块基板上通常集成4颗或8颗SXM GPU，每颗GPU通过专用连接器与基板相连，而不是通过标准PCIe插槽。这种设计带来两个直接好处：一是供电和散热路径更短，二是GPU之间可以走NVLink专用通道，而不必绕行PCIe。
基板上的关键资源包括：GPU模块插槽、HBM显存（直接封装在GPU模块内）、NVLink连接器、NVSwitch芯片（若配置）、基板管理控制器以及供电模块。以8-GPU HGX基板为例，单颗GPU的HBM容量可达80GB，整板显存总量约640GB；GPU间通过NVLink 4.0连接，单链路双向带宽约50GB/s，每颗GPU可提供18条NVLink链路。这些参数直接决定了模型并行策略的可行边界。
NVLink与NVSwitch：GPU间的高速通道
NVLink是GPU之间的点对点高速互联协议，NVSwitch则是将多颗GPU连接成全互联拓扑的交换芯片。在没有NVSwitch的4-GPU节点中，GPU之间通常采用混合拓扑：部分GPU对之间直连，其余需要经过其他GPU转发，导致通信跳数不一致。而配置NVSwitch后，任意两颗GPU之间都可以通过交换芯片建立单跳连接，通信延迟和带宽更加均匀。
以8-GPU NVSwitch基板为例，每颗GPU通过多条NVLink链路连接到NVSwitch芯片组，形成全互联结构。此时GPU间通信不再依赖CPU或PCIe，AllReduce、AllGather等集合通信操作的效率显著提升。对于大模型训练中的张量并行和流水线并行，NVSwitch几乎是必选项。判断是否需要NVSwitch，可以看两个指标：一是GPU数量是否超过4颗，二是并行策略是否要求高频的GPU间梯度同步。
PCIe拓扑：CPU与GPU之间的数据通道
尽管NVLink负责GPU间通信，但GPU与CPU、GPU与网卡、GPU与NVMe之间的数据交换仍然依赖PCIe。在HPE ProLiant GPU节点中，PCIe拓扑通常由两颗CPU的PCIe Root Complex共同构成。以双路CPU平台为例，CPU 0和CPU 1各提供若干PCIe Gen5 x16通道，GPU基板通过PCIe Switch或直接上行链路连接到CPU。
这里有一个容易被忽视的细节：GPU到CPU的PCIe链路并非总是对称的。如果8颗GPU全部挂在CPU 0的PCIe通道下，CPU 1访问这些GPU时就需要经过UPI（Ultra Path Interconnect）跨路转发，带宽和延迟都会受到影响。因此，合理的PCIe拓扑应当让GPU均匀分布在两颗CPU的PCIe域中，或者通过PCIe Switch实现更灵活的分配。在HPE ProLiant的参考设计中，通常会将GPU基板的上行链路拆分为两组，分别接入CPU 0和CPU 1，使每颗CPU都能就近访问部分GPU。
CPU-GPU互联设计：从“能连上”到“连得好”
CPU-GPU互联设计的核心目标是让数据搬运不成为瓶颈。在训练场景中，CPU负责数据预处理、批次加载和部分控制逻辑，GPU负责前向和反向计算。如果CPU到GPU的PCIe带宽不足，数据供给就会拖慢GPU利用率。以PCIe Gen5 x16为例，单向理论带宽约64GB/s，双向约128GB/s。对于需要频繁从主机内存拷贝到显存的场景，这个带宽必须与GPU计算吞吐匹配。
实际设计中，需要关注三个层面：第一，GPU基板的上行PCIe链路数量是否足够，8-GPU基板通常需要至少4条PCIe Gen5 x16上行链路；第二，CPU与GPU的NUMA亲和性，进程和显存分配应尽量落在同一NUMA节点内；第三，网卡与GPU的拓扑关系，RDMA网卡应尽量与GPU处于同一PCIe Switch下，减少跨CPU转发。在HPE ProLiant节点中，可以通过BIOS中的PCIe拓扑视图和操作系统中的lspci -tv、nvidia-smi topo -m来验证实际连接关系。
nvidia-smi topo -m，输出矩阵中NV表示NVLink连接，PIX表示同一PCIe Switch下，PHB表示同一CPU下的PCIe Host Bridge，SYS表示跨CPU/跨NUMA。若大量出现SYS，说明GPU间通信需要绕行CPU，训练效率可能下降。
架构选型的判断依据
综合来看，GPU加速节点的硬件架构选择可以围绕三个问题展开：GPU数量与互联方式是否匹配并行策略？PCIe上行带宽是否满足数据供给？CPU-GPU的NUMA布局是否合理？对于4-GPU节点，若模型较小且以数据并行为主，PCIe直连拓扑可能足够；对于8-GPU节点，若涉及张量并行或大规模AllReduce，NVSwitch全互联基板是更稳妥的选择。HPE ProLiant的GPU节点在设计上已经将基板、NVSwitch和PCIe上行链路作为整体考虑，实际部署时只需根据工作负载确认拓扑是否满足通信需求，并通过nvidia-smi topo -m和PCIe带宽测试进行验证。