1. 课程导入：GPU集群与IB网络概述、学习目标、课程结构
1.1 为什么GPU集群需要专用网络
现代大规模AI训练与高性能计算（HPC）任务，本质上是一场“分布式计算”的协作。以GPT-4级别的大语言模型为例，其参数量达到万亿级，单张GPU的显存（通常为80GB）远无法容纳完整模型。训练过程必须将模型参数、梯度与优化器状态切分到成百上千张GPU上，通过集合通信（如All-Reduce、All-Gather）在每轮迭代中同步梯度。这种同步的频繁程度与数据量，远超普通数据中心业务的网络负载。
传统以太网在TCP/IP协议栈下存在严重的延迟抖动与丢包重传问题。当网络出现微突发拥塞时，TCP的拥塞控制机制会主动丢包，导致GPU计算单元等待数据而空转（Stall），集群整体利用率急剧下降。而InfiniBand（IB）网络从设计之初就面向高性能计算场景，提供了三项关键能力：
- RDMA（远程直接内存访问）：绕过操作系统内核与CPU拷贝，GPU显存中的数据可直接通过网卡（HCA）发送到对端GPU显存，端到端延迟低至微秒级。
- 无损传输：基于信用（Credit）的流控机制，从链路层保证数据包不丢失，避免因重传导致的“锯齿形”带宽波动。
- 自适应路由与拥塞控制：动态选择最优路径，并在拥塞发生时主动降速，保障全局带宽的稳定性。
1.2 IB网络的核心组件与层次结构
要理解IB网络的大规模部署，首先需要掌握其物理与逻辑组件。一个典型的IB网络由以下四层构成：
| 层次 | 核心组件 | 功能说明 |
|---|---|---|
| 端节点层 | HCA（Host Channel Adapter） | 即IB网卡，通常以PCIe 5.0 x16接口连接GPU服务器，提供200Gb/s（NDR）或400Gb/s（XDR）带宽。支持RDMA操作，可直接读写GPU显存。 |
| 交换层 | IB交换机（如NVIDIA Quantum-2） | 提供64个NDR端口（400Gb/s），支持自适应路由、拥塞控制。交换机之间通过脊-叶（Spine-Leaf）拓扑互联。 |
| 子网管理层 | 子网管理器（Subnet Manager, SM） | 运行在独立服务器或交换机内嵌CPU上，负责路径计算、路由表下发、链路状态监控。SM是IB网络的“大脑”，通常需要主备冗余。 |
| 管理平面 | UFM（Unified Fabric Manager） | 提供图形化监控、性能遥测、告警与配置管理接口，用于运维人员日常巡检与故障定位。 |
在拓扑结构上，大规模GPU集群普遍采用胖树（Fat-Tree）或 Dragonfly+ 拓扑。胖树结构通过增加上行链路数量提供无阻塞带宽，适合All-to-All通信模式；Dragonfly+则通过分组互联减少长距离链路数量，适合百亿亿次级超算。本课程后续章节将详细对比两种拓扑的优劣与选型依据。
1.3 课程学习目标
完成本课程后，学员将具备从零开始规划、部署、调优与运维大规模GPU集群IB网络的能力。具体目标分为以下五个维度：
- 架构设计能力：能够根据GPU集群规模（如512卡、2000卡、10000卡）计算所需的IB交换机数量、端口数、链路带宽，并选择合适的拓扑结构。
- 部署实施能力：掌握IB子网管理器配置、交换机固件升级、HCA驱动安装、分区（Partition）配置等实操技能，能够独立完成一个256节点IB子网的搭建。
- 性能调优能力：理解影响集合通信性能的关键参数（如MTU、流控窗口、拥塞控制算法），能够使用ib_write_bw、ib_send_lat等工具进行基准测试，并定位性能瓶颈。
- 故障排查能力：熟悉常见的链路降速、端口错误计数增长、子网管理器主备切换异常等问题，掌握使用ibstatus、ibdiagnet、ibqueryerrors等命令进行诊断的方法。
- 运维管理能力：能够制定IB网络的监控指标体系，配置告警阈值，并规划日常巡检与固件升级的变更流程。
1.4 课程结构总览
本课程共30章，按照“基础→规划→部署→调优→运维→实战”的逻辑递进，分为六个模块：
- 模块一（第1-5章）基础与原理：IB协议栈、RDMA机制、拓扑结构、子网管理原理。
- 模块二（第6-10章）规划与设计：集群规模计算、布线方案、IP/IB地址规划、分区与安全策略。
- 模块三（第11-16章）部署与实施：交换机配置、HCA驱动安装、子网管理器搭建、连通性验证。
- 模块四（第17-22章）性能调优：基准测试方法、拥塞控制调参、路由优化、集合通信库（NCCL）适配。
- 模块五（第23-27章）运维与监控：监控体系搭建、日志分析、固件升级流程、常见故障处理。
- 模块六（第28-30章）实战案例：千卡集群部署复盘、跨机房IB互联、大规模训练任务网络优化实战。
每个章节均配有真实环境下的操作示例、配置片段与故障场景复盘，确保学员不仅“知道是什么”，更能“知道怎么做”以及“知道为什么这样做”。
1.5 常见误区与学习心态
实际上，IB网络的复杂度远超物理连接。子网管理器的最优路径计算、分区配置的粒度、拥塞控制参数的微调，都直接影响训练性能。一个未正确配置分区的IB网络，可能导致不同租户的流量互相干扰，造成性能抖动。
GPU集群训练任务通常持续数周。网络链路的老化、光模块的劣化是渐进过程，若不通过监控提前发现端口错误计数增长，往往会在训练中途出现链路降速，导致整个任务中断。本课程将专门用一章讲解如何建立有效的网络监控体系。
学习本课程时，建议带着“如果我要部署一个1000卡集群，我该从哪里开始？”的问题去思考每一章的内容。将知识点串联成完整的决策链路，而不是孤立地记忆命令。