课程导入：多GPU集群与InfiniBand技术概述
1.1 为什么多GPU集群离不开高性能网络
当单台服务器搭载8张GPU卡时，其内部NVLink带宽可达900 GB/s，远超任何外部网络接口。然而，当训练参数量超过单机显存容量（例如GPT-3的1750亿参数需要约3.5 TB显存），就必须将多台服务器组成集群，通过外部网络协同完成训练任务。此时，网络性能直接决定了集群的扩展效率。
以典型的All-Reduce梯度同步为例：在数据并行训练中，每轮迭代结束后，所有GPU需要交换梯度数据。假设集群有32台服务器、每台8卡共256张GPU，每轮同步的梯度数据量约为模型参数量×4字节（FP32梯度）。对于1750亿参数的模型，单轮梯度总量高达700 GB。若使用25 GbE以太网，理论传输时间需要224秒；而使用200 Gb/s HDR InfiniBand，仅需28秒——这还只是理论值，实际差距更为悬殊。
1.2 InfiniBand技术核心原理
InfiniBand是一种基于交换式点对点架构的高性能网络技术，其设计目标从一开始就与以太网截然不同。以太网假设“网络不可靠，需要上层协议保证”，而InfiniBand从硬件层面就提供了可靠的传输保障。
理解InfiniBand需要掌握以下关键概念：
- 子网管理器（Subnet Manager, SM）：负责发现网络拓扑、分配LID（本地标识符）、计算路由。子网中至少有一个SM，通常运行在交换机或专用管理节点上。
- HCA（Host Channel Adapter）：即主机通道适配器，就是我们常说的“IB网卡”。它直接挂载在PCIe总线上，提供RDMA引擎，允许应用程序绕过CPU直接读写远程内存。
- QP（Queue Pair）：通信的基本单元，每个QP包含一个发送队列和一个接收队列。应用程序通过QP提交工作请求（WR），硬件自动完成数据传输。
- LID与GID：LID是子网内的16位地址，由SM分配；GID是128位全局地址，基于IPv6格式，用于跨子网通信。
- MTU：InfiniBand的MTU可选256/512/1024/2048/4096字节，通常设置为4096以充分利用带宽。
1.3 典型应用场景：大模型训练集群
以某互联网公司部署的千卡GPU集群为例，其网络架构如下：
| 层级 | 配置 | 说明 |
|---|---|---|
| 计算节点 | 128台，每台8×A100 GPU | 每节点配置8张HDR 200Gb/s IB卡（每GPU一张） |
| 接入层 | 16台 40端口 HDR交换机 | 每台交换机连接8个节点，采用无阻塞设计 |
| 骨干层 | 8台 40端口 HDR核心交换机 | 采用Fat-Tree拓扑，提供全带宽互连 |
| 管理网络 | 1GbE/10GbE 以太网 | 仅用于管理、监控、系统部署 |
该集群在训练1750亿参数模型时，实测All-Reduce带宽达到185 GB/s（理论值200 GB/s的92.5%），端到端训练效率相比使用100GbE以太网提升了约3.2倍。这一性能的实现，除了硬件本身，更依赖于正确的网卡配置与参数调优——这正是本课程后续章节要深入探讨的内容。
1.4 常见误区与学习路径
另一个常见误区是混淆“IPoIB”与“RDMA”。IPoIB（IP over InfiniBand）只是将IB网络模拟成IP网络，用于兼容传统应用，其性能远低于原生RDMA。在AI训练场景中，必须使用支持RDMA的通信库（如NCCL、OpenMPI），才能发挥IB的真正实力。
本课程共30章，内容组织遵循“从原理到实践、从基础到调优”的路径：
- 基础篇（第1-8章）：IB技术原理、网卡选型、驱动安装、固件升级、基本连通性验证。
- 配置篇（第9-16章）：子网管理器配置、分区（Partition）设置、IPoIB配置、路由与多子网互联。
- 调优篇（第17-24章）：PCIe参数调优、驱动队列深度调整、拥塞控制参数、NCCL/MPI集成优化。
- 排障篇（第25-30章）：常见故障诊断、性能监控工具、日志分析、案例复盘。
每一章都配有实际操作的命令示例和配置片段，建议读者在真实或虚拟化环境中同步实践。学完本课程后，你将能够独立完成一套多GPU集群IB网络的规划、部署、调优与排障工作。