1. 课程导入
1.1 为什么GPU集群需要关注IB网络
在大规模GPU集群中，单卡算力只是性能的起点。当数百乃至数千张GPU协同训练一个万亿参数模型时，通信效率往往成为决定整体训练吞吐的关键瓶颈。以典型的All-Reduce集合通信为例，每次梯度同步都需要在全部节点间交换数据，若网络带宽不足或路径拥塞，GPU即便以最高频率计算，也只能在等待中空转。
InfiniBand（IB）网络凭借其高带宽、低时延、无损传输三大特性，成为当前高性能计算与AI训练集群的主流互联方案。然而，IB网络并非“插上就能跑满”——拓扑设计、路由算法、流控参数、拥塞控制策略等都会直接影响最终的有效带宽。这正是本课程要解决的核心问题：如何通过流量工程手段，让IB网络从“可用”变为“最优”。
1.2 课程学习目标
完成本课程后，你将能够：
- 理解IB网络核心机制：掌握子网管理器（Subnet Manager, SM）、分区键（PKey）、服务级别（Service Level, SL）等基础概念，以及它们如何影响流量路径。
- 诊断网络性能瓶颈：使用
ibstat、ibping、perftest等工具定位链路速率、丢包、拥塞等异常。 - 实施流量工程策略：根据集群规模与业务模式，选择并配置自适应路由（AR）、显式拥塞通知（ECN）、服务质量（QoS）等优化方案。
- 建立性能调优方法论：形成“基线测量→瓶颈分析→策略调整→效果验证”的闭环优化流程。
1.3 课程结构总览
本课程共30章，按知识递进关系分为五个模块，每个模块聚焦一个能力层级：
| 模块 | 章节范围 | 核心主题 | 能力目标 |
|---|---|---|---|
| 基础篇 | 第1-6章 | IB协议、拓扑、子网管理 | 理解网络架构与寻址机制 |
| 测量篇 | 第7-12章 | 性能基准、监控与诊断工具 | 量化网络状态，定位故障域 |
| 优化篇 | 第13-22章 | 路由算法、流控、拥塞控制 | 掌握流量工程核心调优手段 |
| 实践篇 | 第23-27章 | 多租户QoS、动态路由、故障演练 | 在真实集群中实施优化方案 |
| 进阶篇 | 第28-30章 | AI训练模式适配、RoCE融合 | 面向未来架构的扩展设计 |
各章之间既有纵向递进关系，也保持相对独立。如果你已具备一定基础，可以直接跳至感兴趣的章节；但建议首次学习者按顺序阅读，因为后续章节会频繁引用前文的概念与命令。
1.4 GPU集群中的IB网络基础架构
一个典型的GPU集群IB网络由三个层次组成：计算节点（GPU服务器）、IB交换机（Leaf-Spine两级或更复杂的三级Fat-Tree）、子网管理器（SM）。计算节点通过HCA（Host Channel Adapter）卡接入网络，每张HCA卡通常提供1个或2个端口，端口速率从EDR（100Gb/s）到HDR（200Gb/s）再到NDR（400Gb/s）不断演进。
在逻辑层面，IB网络通过子网（Subnet）进行管理。一个子网内包含一个主SM和若干备用SM，SM负责发现拓扑、计算路由表并下发到各交换机。所有端节点通过全局唯一标识符（GID）和本地标识符（LID）进行寻址，其中LID仅在子网内有效，由SM动态分配。
为了隔离不同业务流量，IB引入了分区（Partition）机制。每个端口可以属于一个或多个分区，只有属于同一分区的端口才能相互通信。这类似于以太网中的VLAN，但实现机制完全不同——IB分区在数据包转发时由交换机硬件强制检查，安全性更高。
下图展示了GPU集群中一个简化但完整的IB网络数据流路径，以及流量工程需要关注的各个关键决策点：
图中展示了GPU节点通过HCA卡接入Leaf交换机，Leaf再上联至Spine交换机的两级拓扑。SM作为控制平面独立运行，负责维护全网路由视图。流量工程需要同时关注数据平面（实际转发路径）和控制平面（路由计算与下发）的协同，任何一层的配置失误都可能导致性能劣化。
1.5 常见误区与学习建议
在学习本课程时，建议你准备一个实验环境（即使是模拟器或小规模真实集群），将每章涉及的ibstat、ibroute、perftest等命令实际运行一遍。网络优化是一门实践性极强的工程学科，只有亲手操作过，才能真正理解参数调整带来的效果差异。