课程导入：GPU集群与InfiniBand组网概述
欢迎来到《GPU集群IB组网硬件选型初探》课程。在正式开始之前，我们先明确一个核心判断：当GPU集群规模从单机8卡扩展到千卡、万卡级别时，网络不再是“配件”，而是决定集群有效算力上限的关键骨架。本节作为课程导入，将帮助你建立对GPU集群与InfiniBand（IB）组网的整体认知，明确学习目标，并了解后续课程的推进路径。
1.1 为什么GPU集群离不开高性能网络
现代大模型训练普遍采用数据并行、张量并行、流水线并行等混合并行策略。以典型的All-Reduce梯度同步为例，每次迭代结束后，所有GPU需要交换梯度数据。假设集群有1024张GPU，每张GPU的梯度数据量为200MB，那么一次全量同步的通信数据量将超过200GB。如果网络带宽不足或时延过高，GPU将在等待通信中空转，导致算力利用率大幅下降。
下图展示了GPU集群中计算与通信的协作关系，以及IB网络在其中的位置：
从上图可以看到，GPU服务器内部通过NVLink实现卡间高速互联，而跨服务器的GPU通信则需要经过HCA（Host Channel Adapter）网卡和IB交换机。IB网络在这里承担的是“集群级互连”的角色，其性能直接决定了分布式训练中梯度同步、参数分发、数据加载等关键路径的效率。
1.2 InfiniBand技术核心优势
与普通以太网相比，IB网络在设计之初就面向高性能计算场景，具备以下关键特性：
- RDMA（远程直接内存访问）：数据可直接在GPU显存与远端内存之间传输，绕过CPU和操作系统内核，显著降低时延和CPU开销。
- 无损网络保障：基于流控机制，IB网络在拥塞时不丢包，避免因重传导致的通信抖动，这对同步训练至关重要。
- 高带宽与低时延：当前主流的HDR（High Data Rate）单端口带宽为400Gbps，端到端时延可低至1微秒以内。
- 自适应路由与拥塞控制：动态选择最优路径，避免热点，提升整体吞吐。
核心概念区分：IB网络中的“无损”并非指物理链路永不故障，而是指在流控机制下，交换机缓冲区不会因拥塞而丢弃数据帧。这一特性使得IB网络在长时间、大规模通信中保持稳定的性能表现，而传统以太网在拥塞时可能因丢包重传导致性能断崖式下降。
1.3 学习目标
完成本课程后，你将能够：
- 理解IB网络体系架构：掌握子网管理器（Subnet Manager）、分区（Partition）、自适应路由等核心概念。
- 掌握硬件选型方法论：能够根据GPU型号、集群规模、业务场景，合理选择HCA卡、IB交换机、线缆类型及拓扑结构。
- 具备方案对比能力：能够从带宽、时延、成本、可扩展性、运维复杂度等维度，对比IB与RoCE、以太网方案的优劣。
- 熟悉典型配置与排障：了解IB组网的标准配置流程，掌握常见故障的诊断思路。
1.4 课程框架
本课程共30个章节，按知识递进关系分为以下五个模块：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础概念 | 第1-5章 | GPU集群通信模型、IB协议栈、核心组件（HCA/交换机/线缆） |
| 硬件选型 | 第6-15章 | HCA卡选型、交换机型号对比、线缆与光模块选择、拓扑设计 |
| 方案设计 | 第16-22章 | 典型集群组网方案（Fat-Tree、Dragonfly）、分区与子网规划 |
| 部署与调优 | 第23-27章 | 固件升级、Subnet Manager配置、性能测试与调优 |
| 运维与排障 | 第28-30章 | 常见故障诊断、监控工具使用、案例复盘 |
1.5 常见误区与学习建议
误区一：认为“带宽越大越好”。实际上，GPU集群通信模式以短消息（如All-Reduce中的梯度分片）为主，此时时延和消息速率（Message Rate）往往比峰值带宽更关键。盲目追求400G而忽略拓扑收敛比，可能导致成本翻倍但性能提升有限。
误区二：混淆“IB网络”与“RoCE”。RoCE（RDMA over Converged Ethernet）虽然也支持RDMA，但依赖无损以太网配置，在拥塞控制、可扩展性方面与IB仍有差距。选型时应结合业务规模、现有基础设施和预算综合判断。
在学习过程中，建议你始终带着“我的集群规模是多少？主要跑什么负载？预算约束是什么？”这三个问题去审视每一个选型决策。硬件选型没有绝对的最优，只有最适合特定场景的方案。