4. 多节点与GPU服务器架构

在AI训练与高密度虚拟化场景中，传统2U双路服务器已经难以同时满足算力密度、供电能力和散热效率的要求。Lenovo ThinkSystem SD系列多节点服务器与GPU服务器正是为这类场景设计的两种不同思路：前者通过机箱级共享基础设施提升密度，后者通过GPU直通与高速互联把单机算力推到极致。理解这两类架构的差异，是后续部署与调优的基础。

SD系列多节点：共享电源与散热的机箱级设计

SD系列的核心思想是"机箱即基础设施"。以SD530这类多节点机箱为例，一个机箱内可容纳多个独立计算节点，但电源模块、风扇模块、机箱管理模块（CMM）由所有节点共享。每个节点仍是完整的双路服务器，拥有独立的CPU、内存、本地存储和网络接口，但不再各自携带电源和风扇。

这种设计带来三个直接结果。第一是密度提升：共享电源和风扇省去了每个节点重复的供电与散热部件，同样机架空间内可部署更多计算核心。第二是供电效率改善：机箱级电源通常采用钛金或白金级冗余电源，多个节点共享时电源负载率更接近高效区间，减少低负载浪费。第三是散热统一管理：机箱风扇根据所有节点的整体温度曲线调速，而不是每个节点各自为政。

但共享也意味着耦合。部署时需要特别关注两点：一是机箱总功耗预算，所有节点的CPU、内存、存储功耗之和不能超过机箱电源容量，且要预留冗余；二是散热策略，如果某个节点长期高负载，机箱风扇会整体提速，可能影响同机箱其他节点的噪音与功耗表现。实际规划中，建议把负载特征相近的节点放在同一机箱，避免"一热全热"。

GPU直通与NVLink拓扑

GPU服务器的关键不在于"插了几块GPU"，而在于GPU如何与CPU、GPU之间如何互联。这里有两个核心概念：GPU直通和NVLink拓扑。

GPU直通（PCIe Passthrough）是指把物理GPU直接分配给虚拟机或容器，绕过宿主机的软件模拟层。在虚拟化环境中，如果GPU不直通，虚拟机只能通过API转发使用GPU，延迟高、性能损失大。直通后，虚拟机内的CUDA程序直接访问GPU显存和计算单元，性能接近物理机。配置直通需要在BIOS中开启IOMMU/VT-d，在Hypervisor中启用PCIe Passthrough，并把GPU的PCIe设备ID绑定到目标虚拟机。需要注意的是，直通后宿主机不能再使用该GPU，且GPU所在的IOMMU分组必须干净——如果同组还有其他设备，需要一并直通或调整PCIe插槽位置。

NVLink则是NVIDIA GPU之间的高速互联总线。以NVLink 3.0为例，单条链路双向带宽约50GB/s，一块A100有12条链路，总带宽可达600GB/s，远高于PCIe 4.0 x16的约64GB/s。在多GPU训练中，梯度同步、参数广播都依赖GPU间通信，NVLink的带宽直接决定扩展效率。NVLink拓扑有两种常见形态：一是NVLink Bridge（桥接器），连接同一服务器内的2块或4块GPU；二是NVSwitch，在8 GPU服务器内提供全互联，任意两块GPU之间都是NVLink直连，避免桥接拓扑中的跳数差异。

拓扑选择会影响训练效率。以8卡A100为例，NVSwitch全互联下，All-Reduce通信可以走最短路径；而如果使用桥接器组成混合拓扑，部分GPU对之间需要经过其他GPU转发，带宽和延迟不一致，可能导致同步等待。部署时应通过nvidia-smi topo -m查看拓扑矩阵，确认GPU间连接类型（NVLink、PCIe、SYS）和NUMA亲和性。

AI训练场景下的硬件配置要点

AI训练对硬件的要求与推理不同：训练需要更大的显存容纳模型参数、梯度和优化器状态，需要更高的GPU间带宽做梯度同步，需要更快的存储读取训练数据集。以下是一组面向中等规模训练的示例配置思路，参数为合理假设，用于说明配置逻辑。

配置时有一个容易被忽略的约束：GPU的PCIe通道与CPU、NVMe、网卡共享。如果CPU的PCIe通道数不足，GPU可能降速到x8，影响数据加载和主机到设备的传输。规划时应先确认CPU平台的PCIe Lane总数，再分配GPU、NVMe和网卡的通道。另外，8卡GPU服务器的功耗和散热远超普通服务器，部署前必须核对机架PDU容量、制冷量和风道方向，否则可能出现降频甚至宕机。

总结来看，SD系列多节点解决的是"密度与共享"问题，适合高密度计算和虚拟化；GPU服务器解决的是"单机算力与互联"问题，适合AI训练。两者在部署时的关注点不同：前者重点在机箱功耗预算和散热策略，后者重点在GPU直通配置、NVLink拓扑和整机供电散热。理解这些差异，才能在实际项目中做出合理的架构选择。