3. 互联技术概览
GPU集群的横向扩展能力，本质上取决于节点间与节点内的互联技术。不同技术服务于不同距离与语义：PCIe负责芯片与周边设备间的通用互连，NVLink是GPU间的高带宽私有通道，InfiniBand与RoCE（RDMA over Converged Ethernet）则承担跨节点的网络传输。理解这些技术的定位、边界与性能特征，是设计集群拓扑的第一步。
核心原理：从总线到交换网络的演进
传统PCIe采用树状拓扑，CPU作为根节点（Root Complex）通过交换芯片（Switch）挂载GPU、NVMe等端点设备。其优势在于通用性与生态成熟度，但受限于PCIe的点对点串行传输机制——即使支持PCIe Switch级联，同一时刻一条链路上也只能承载一对通信对端，多GPU间并发交换数据时会产生严重的头部阻塞（Head-of-Line Blocking）。
NVLink则彻底改变了这一局面。它由NVIDIA主导设计，采用直连网状拓扑，每块GPU通过专用高带宽链路与相邻GPU或CPU直接相连，无需经过PCIe交换器。NVLink的物理层基于高速差分信号，但协议层针对GPU内存语义做了深度定制，支持原子操作、细粒度内存访问与缓存一致性，使得多GPU可以像访问本地显存一样访问对端显存。
跨节点场景下，InfiniBand与RoCEv2成为主流选择。InfiniBand是独立于以太网的完整网络体系，从物理层（IB QDR/HDR/NDR）到网络层（子网管理器Subnet Manager）均为自研协议，提供无损传输与极低时延。RoCEv2则巧妙地将IB的传输层语义封装在UDP/IPv4报文内，复用现有以太网交换机，但要求网络必须启用PFC（优先级流控）与ECN（显式拥塞通知）才能保证无损特性。
关键差异速览：PCIe是“外设总线”，NVLink是“GPU内存扩展总线”，InfiniBand是“独立无损网络”，RoCEv2是“以太网上的RDMA模拟”。它们并非替代关系，而是分别解决机内、机间不同粒度的通信需求。
方法流程：如何为集群选择互联组合
实际集群设计不会只依赖单一技术，而是按通信模式分层选型。推荐以下决策流程：
- 分析通信特征：统计训练作业中集合通信（AllReduce、AllGather）的数据量与时延敏感度。若单次通信量超过数百MB且频繁发生，优先考虑高带宽低时延方案。
- 确定机内拓扑：单机8卡场景下，NVLink全互联（如HGX平台）可提供无阻塞通信；若使用PCIe Switch方案，需注意多GPU同时跨CPU访问时的带宽争抢。
- 选择网络协议：对于超大规模集群（超过数百节点），InfiniBand的自适应路由与无损特性可显著减少尾部时延；若受限于成本或运维生态，RoCEv2配合精细调优也可接近IB性能的80%-90%。
- 验证实际带宽：使用
ib_write_bw（IB/RoCE）或nccl-tests的all_reduce_perf进行基准测试，观察实际吞吐是否达到理论值的70%以上。
案例/场景：大模型训练中的典型配置
以训练一个千亿参数大模型为例，通常采用数据并行+张量并行混合策略。张量并行需要在每台服务器内的GPU间频繁交换激活值（每层通信量约数百MB），此时NVLink的900GB/s带宽成为关键——若退化为PCIe，通信时间可能增加3-5倍。而数据并行产生的梯度同步（AllReduce）则跨节点进行，假设每节点8卡，每批次梯度总量约2GB，使用400Gbps的NDR InfiniBand，理论同步时间约40ms，实际考虑协议开销约50-60ms，可满足训练效率要求。
实践建议：在NVIDIA HGX平台上，nvidia-smi topo -m 命令可查看GPU间的NVLink连接矩阵。若发现GPU0与GPU7之间只有PCIe路径，说明该拓扑并非全互联，需调整并行策略中的通信分组。
误区/复盘：常见选型陷阱
- 误区一：盲目追求最高规格网络。若单节点GPU数量少且模型较小，400G RoCE可能已足够，升级到NDR IB的成本收益比极低。应先做通信量估算，再决定网络代际。
- 误区二：忽略PCIe与NVLink的混用瓶颈。部分GPU间若走PCIe（如跨NUMA域），在AllReduce时会形成慢节点，拖慢整体同步。需通过拓扑感知的通信库（如NCCL的
NCCL_TOPO_DUMP_FILE）检查实际路径。 - 误区三：认为RoCEv2开箱即用。RoCEv2必须配置PFC优先级队列、ECN阈值以及流控的
buffer reservation，否则丢包重传会导致有效带宽骤降50%以上。建议先用ibstat检查链路状态，再用ethtool -S观察rx_dropped计数。
复盘要点：某团队在RoCE网络未开启ECN时，训练吞吐仅达到预期的55%。排查发现交换机队列缓存溢出导致大量丢包。开启ECN并设置合理的 min_thresh 与 max_thresh 后，吞吐恢复至理论值的88%。这提醒我们：无损网络并非“买来即用”，必须结合网卡与交换机的协同调优。
综合来看，PCIe、NVLink、InfiniBand与以太网各自占据明确的生态位。PCIe作为基础互连承载管理面与慢速设备，NVLink解决机内GPU高速协作，而InfiniBand与RoCEv2的取舍则取决于集群规模、预算与运维能力。理解这些技术的物理限制与协议特性，才能在设计集群时做出合理的权衡，避免“木桶效应”拖累整体训练效率。