1. 课程导入与全景认知

当单张GPU的算力增长逐渐逼近工艺与功耗的边界时，集群化成为继续扩展AI训练规模的主要路径。但把成百上千张GPU简单堆在一起，并不会自动获得等比例的算力。真正决定集群“有效算力”的，是连接这些GPU的高速互连网络——它决定了数据能否及时送达、梯度能否按时同步、通信是否成为计算的等待项。本课程的核心，就是理解并优化这张网络。

一、为什么互连网络是GPU集群的“第二算力”

在大模型训练中，一次迭代通常包含前向计算、反向计算和梯度同步三个阶段。以数据并行训练为例，每张GPU在完成本地反向计算后，需要将梯度与其他GPU做AllReduce归约。若单卡计算耗时记为T_compute，通信耗时记为T_comm，则理想情况下迭代时间约为两者之和。当模型规模增大、GPU数量增多时，T_comm往往以接近线性的方式增长，而T_compute因单卡算力固定而增长有限，于是通信占比迅速上升。

一个直观的示例：假设某模型单卡计算耗时约80ms，8卡AllReduce通信耗时约20ms，通信占比约20%；当扩展到512卡时，若网络带宽和拓扑不能同步扩展，通信耗时可能升至200ms以上，通信占比超过70%，此时增加GPU带来的收益被通信开销大量抵消。这就是“互连决定集群有效算力”的含义。因此，高速互连网络不是附属设施，而是与GPU算力同等重要的第二算力资源。

二、典型拓扑层级：从节点内到集群间

NVIDIA GPU集群的互连并非单一网络，而是分层级的复合结构。理解这些层级，是后续设计与优化的前提。

• 节点内互连（Scale-up）：同一服务器内GPU之间通过NVLink/NVSwitch连接。以DGX H100为例，8张H100通过NVSwitch实现全互联，单GPU双向带宽可达900GB/s，远高于PCIe Gen5的128GB/s。节点内互连决定了张量并行、流水线并行的效率。
• 节点间互连（Scale-out）：跨服务器通过InfiniBand或RoCE以太网连接，配合GPUDirect RDMA实现GPU到网卡的直接数据通路。典型配置为NDR InfiniBand 400Gb/s或800Gb/s，构成Fat-Tree、Rail-Optimized等拓扑。
• 存储与前端网络：训练数据读取、检查点写入走存储网络，通常与计算网络物理隔离，避免带宽争抢。
• 集群间互连：多集群协同训练时，通过广域或专用链路连接，带宽和时延约束更严格，通常用于联邦式或分层训练。

这四层结构在带宽、时延、协议和故障域上差异显著，优化时必须分层定位瓶颈，而不是笼统地“加带宽”。

三、设计挑战：带宽、时延、拥塞与故障域

高速互连网络的设计并非“带宽越大越好”这么简单，实际面临四类相互制约的挑战。

带宽与收敛比。Fat-Tree拓扑中，若下行端口数与上行端口数之比（收敛比）大于1，则存在超额订阅。例如64端口交换机组成两层Fat-Tree，若收敛比为2:1，则跨Pod通信时有效带宽减半。收敛比越低，成本越高，需要在预算与性能间权衡。

时延与协议开销。InfiniBand的RDMA时延可低至1μs量级，而RoCEv2在无损以太网配置下约为2~3μs。对于小消息密集的AllReduce，时延比带宽更关键；对于大消息传输，带宽是主导因素。设计时需根据通信模式选择协议与参数。

拥塞与流控。多对一通信（如AllReduce的Reduce阶段）容易在汇聚点产生瞬时拥塞。InfiniBand依靠基于信用的流控和自适应路由缓解，RoCE则依赖PFC（优先级流控）和ECN（显式拥塞通知）。配置不当会导致PFC风暴或吞吐骤降。

故障域与可用性。大规模集群中，链路和交换机故障是常态。Rail-Optimized拓扑将同一Rail的GPU连接到同一组交换机，缩小故障影响范围；自适应路由和链路冗余则保证单点故障不中断训练。

四、优化目标：从“能跑”到“跑满”

优化的目标可以归纳为三个层次。第一层是可用性：网络能稳定承载训练任务，不因拥塞或故障中断。第二层是效率：通信时间占比尽可能低，AllReduce、AllGather等集合通信接近理论带宽上限。第三层是可扩展性：GPU数量增加时，有效算力接近线性增长，即扩展效率（Scaling Efficiency）保持在较高水平。

衡量这些目标的关键指标包括：集合通信带宽（如AllReduce的bus bandwidth）、端到端时延、网络利用率、PFC/ECN计数、以及训练迭代时间随GPU数量的变化曲线。后续章节将围绕这些指标，从拓扑设计、协议配置、通信库调优到故障排查逐步展开。

本课程后续将依次深入NVLink与NVSwitch、InfiniBand与RoCE协议、Fat-Tree与Rail-Optimized拓扑、NCCL通信库调优、GPUDirect RDMA、拥塞控制、性能剖析与故障排查等主题。每一章都会围绕真实对象、可观察参数和判断依据展开，帮助你把“互连网络”从抽象概念变成可设计、可测量、可优化的工程系统。