课程导入：学习目标、课程结构、IB网络与GPU互连在AI/HPC中的重要性

一、为什么需要关注IB网络与GPU互连

在AI大模型训练与高性能计算（HPC）场景中，GPU算力集群的规模正从单机8卡扩展到千卡、万卡甚至十万卡级别。以GPT-4类模型为例，其训练过程涉及数千亿参数在数千张GPU之间的同步更新。此时，单卡算力不再是瓶颈，卡间通信效率反而成为决定整体训练吞吐的关键因素。一次All-Reduce集合通信操作若延迟过高，会让数千张GPU在等待中空转，造成巨大的算力浪费。

InfiniBand（IB）网络凭借其RDMA（远程直接内存访问）、无损传输与极低延迟特性，成为构建大规模GPU互连的事实标准。理解IB网络与GPU互连拓扑，是进行集群设计、性能调优与故障定位的基础能力。

二、本节学习目标

完成本节学习后，你将能够：

• 从宏观层面理解IB网络在AI/HPC集群中的角色定位，区分其与传统以太网的差异。
• 识别GPU互连的三种主流方案（NVLink、InfiniBand、RoCE）及其适用场景。
• 建立课程整体知识框架，明确后续章节中拓扑设计、路由算法、拥塞控制等内容的逻辑关系。
• 理解“计算-通信”协同设计的基本思想，为后续学习胖树（Fat-Tree）、Dragonfly等拓扑打下基础。

三、课程结构总览

本课程共30章，按“基础→拓扑→协议→调优→排障”五个阶段递进。各阶段之间的依赖关系如下图所示：

图中展示了五个阶段的递进关系：基础阶段为后续所有内容提供协议与原理支撑；拓扑阶段解决“如何连接”的问题；协议阶段解决“数据如何高效流动”的问题；调优阶段关注实际应用负载与拓扑的匹配；排障阶段则是对前四个阶段知识的综合运用。

四、IB网络与GPU互连在AI/HPC中的核心价值

要理解IB网络的重要性，需要先对比不同互连方案的定位。下表从多个维度对比了三种主流GPU互连技术：

从上表可以看出，NVLink解决的是“盒子内”的通信，而IB网络解决的是“盒子间”的通信。在万卡集群中，超过90%的GPU通信流量需要经过IB网络完成。IB网络的设计目标非常明确：

• 极低延迟：通过硬件卸载和内核旁路，减少协议栈开销。
• 零丢包：基于信用（Credit）的流控机制，避免因丢包导致的TCP式性能崩塌。
• 高带宽利用率：支持多路径（LID Mask Count）与自适应路由，充分利用所有可用链路。

五、典型案例：大模型训练中的通信瓶颈

以训练一个1.8万亿参数的MoE（混合专家）模型为例，假设使用4096张H100 GPU，采用数据并行+专家并行混合策略。在每次训练迭代中，需要执行以下通信操作：

1. All-to-All通信：MoE层中，每个Token需要被路由到对应的专家GPU，产生全矩阵的跨节点通信。
2. All-Reduce通信：数据并行组内，需要对梯度进行全局求和与平均。
3. All-Gather通信：序列并行中，需要收集完整的序列表示。

假设单次迭代中通信数据量为2.5 GB，若使用400 Gb/s IB网络（理论带宽50 GB/s），理想通信时间为50毫秒。但若网络拓扑存在过度订阅（例如核心层带宽不足），实际有效带宽可能降至15 GB/s，通信时间将延长至167毫秒，训练效率下降超过70%。这正是为什么需要精心设计IB网络拓扑的根本原因。

六、常见误区与复盘

在IB网络与GPU互连的学习与实践中，初学者常陷入以下误区：