GPU服务器内部结构：从PCIe拓扑到NVLink的互联演进

核心原理：GPU服务器内部到底有哪些“路”可走？

要理解多GPU集群的RDMA传输，首先必须看清单台GPU服务器内部的数据通路。一台典型的8卡GPU服务器（如NVIDIA DGX系列或主流OEM机型）内部包含CPU、内存、GPU、NVMe盘、网卡（RDMA网卡或智能网卡）等部件，它们之间通过PCIe总线、PCIe Switch和NVLink/NVSwitch构成一张复杂的互联网络。这张网络决定了数据从GPU显存出发，到达网卡或另一颗GPU时，究竟要经过多少跳数、多少带宽瓶颈。

PCIe（Peripheral Component Interconnect Express）是当前服务器内部最通用的IO总线。一颗CPU通常提供64~128条PCIe Lane（通道），每条Lane为x1速率（PCIe Gen4 x1约2GB/s，Gen5 x1约4GB/s）。GPU和网卡都作为PCIe Endpoint挂载在PCIe Switch或CPU Root Complex下。传统服务器中，GPU与网卡之间的数据交换必须经过CPU的Root Complex或PCIe Switch，这意味着数据要跨越PCIe链路多次，且共享同一总线带宽，容易产生严重竞争。

NVLink是NVIDIA推出的高带宽、低延迟GPU直连总线，最初用于替代PCIe在GPU间通信中的角色。NVLink采用点对点高速串行连接，每根NVLink x4链路在A100上提供约50GB/s单向带宽（双向100GB/s），在H100上提升至约90GB/s单向（双向180GB/s）。NVLink绕过CPU和PCIe Switch，直接在GPU之间建立专用通道，极大降低了多卡通信的延迟和CPU开销。

当GPU数量超过4颗时，全连接NVLink拓扑需要每颗GPU拥有大量NVLink端口，物理上不可行。因此NVIDIA引入NVSwitch——一颗位于GPU之间的专用交换芯片，类似“NVLink的PCIe Switch”。NVSwitch将多颗GPU以全带宽互联，形成无阻塞的NVLink域。以DGX A100为例，8颗GPU通过6颗NVSwitch实现全互联，任意两颗GPU之间的NVLink带宽均为600GB/s（双向）。

方法流程：一张图看懂GPU服务器内部数据通路

下图展示了一台8卡GPU服务器内部的关键互联结构，重点标出PCIe路径与NVLink路径的差异，以及RDMA网卡在拓扑中的位置。

图中可见两条关键路径：PCIe路径（蓝色）用于GPU与CPU、NVMe、网卡之间的通用IO；NVLink路径（橙色）用于GPU之间的高速数据交换。RDMA网卡通常挂载在PCIe Switch下，通过PCIe与GPU通信，但若GPU与网卡不在同一PCIe域，数据需跨CPU传输，延迟显著增加。

案例/场景：大模型训练中的通信模式与拓扑选择

以GPT-3 175B模型训练为例，采用数据并行+张量并行混合策略。张量并行需要在每层计算中频繁进行AllReduce通信，通信量极大且对延迟敏感。此时若使用PCIe路径，8卡间AllReduce延迟可能达到数十微秒，严重拖慢计算。而使用NVLink全互联后，AllReduce延迟可降至3~5微秒，几乎不影响计算效率。

另一个典型场景是流水线并行，各GPU之间传输的是激活值和梯度，通信频率较低但单次数据量大。此时PCIe Gen4 x16（约32GB/s单向）也能勉强满足，但若同时进行数据并行梯度同步，PCIe带宽就会成为瓶颈。因此现代训练框架（如Megatron-LM、DeepSpeed）默认优先使用NVLink域内的GPU组合，将跨NVLink域的通信量降到最低。

误区/复盘：PCIe与NVLink的常见认知偏差

一个常见复盘案例：某团队在8卡A100服务器上运行AllReduce测试，发现带宽仅为理论值的40%。排查后发现，测试进程被绑定在GPU 0-3上，而RDMA网卡插在CPU 1的PCIe槽位，导致每次通信都跨CPU。将网卡迁移至CPU 0侧后，带宽提升至理论值的85%。