1. 课程导入：学习目标、课程结构、多GPU集群与RDMA技术概述
1.1 为什么需要关注RDMA通信拓扑
当GPU集群从单机8卡扩展到跨机柜的数百甚至上千张GPU时，通信瓶颈往往取代算力成为训练效率的第一约束。以GPT-4级别的稠密大模型为例，其训练过程涉及海量的All-Reduce、All-to-All集合通信操作，若节点间通信延迟过高或带宽不足，GPU利用率可能从90%骤降至40%以下。RDMA（Remote Direct Memory Access，远程直接内存访问）技术允许网卡绕过CPU内核直接读写对端内存，将单跳延迟压至微秒级，但拓扑结构决定了这种低延迟能力能否被充分释放——错误的拓扑会让昂贵的RDMA网卡空有带宽却无法并行传输。
1.2 课程学习目标与章节地图
完成本课程后，你将能够：
- 诊断现有集群的通信瓶颈，区分是网卡速率、交换机层级还是路由策略导致的性能劣化；
- 设计满足特定训练任务（如流水线并行、张量并行）需求的RDMA通信子网，合理选择Fat-Tree、Torus或直连拓扑；
- 配置关键参数（如ECN、PFC、自适应路由），使拓扑的潜在带宽转化为实际训练吞吐；
- 验证通过基准测试工具（如perftest、NCCL Tests）量化拓扑优化效果。
课程共30章，按“基础→设计→调优→排障”四阶段组织。第1~5章建立RDMA与拓扑基础；第6~15章深入讲解Fat-Tree、Torus、Dragonfly等主流拓扑的数学建模与选型；第16~22章聚焦集合通信库（NCCL/RCCL）与拓扑的适配；第23~27章讨论大规模集群中的可靠性、拥塞控制与能耗优化；第28~30章通过真实案例复盘，将前序知识串联为完整的工程决策链。
1.3 多GPU集群通信模型：从PCIe到RDMA网络
理解拓扑前，必须先厘清GPU通信的层级模型。下图展示了典型的多节点GPU集群中，通信路径从芯片内到跨机柜的完整层次：
图中L1/L2层通常由NVLink、NVSwitch等私有技术实现，带宽极高但无法跨节点。L3层开始引入RDMA网卡（如InfiniBand HCA或RoCEv2网卡），通过交换机互联。L4层则涉及多级拓扑设计，是本课程的核心战场。值得注意的是，拓扑设计并非孤立的物理布线，它直接决定了NCCL等通信库能否构建出高效的通信路径。
1.4 RDMA技术核心原理与选型
RDMA的三大实现流派各有特点，理解其差异是拓扑设计的前提：
| 特性 | InfiniBand | RoCEv2 | iWARP |
|---|---|---|---|
| 传输层 | 专用IB协议 | UDP/IP | TCP/IP |
| 典型延迟 | 0.5~1μs | 1~2μs | 2~5μs |
| 拥塞控制 | 内建（基于FECN/BECN） | 依赖ECN+PFC | 依赖TCP拥塞控制 |
| 交换机要求 | 专用IB交换机 | 支持PFC/ECN的以太网交换机 | 标准以太网交换机 |
| 拓扑灵活性 | 受限（需IB专用路由） | 高（兼容传统以太网） | 高 |
| 大规模集群占比 | HPC传统优势 | AI集群主流选择 | 较少用于GPU集群 |
当前AI训练集群中，RoCEv2因成本优势与以太网生态兼容性占据主导，但其对拓扑的无损网络要求极为苛刻——必须启用PFC（优先级流控）防止丢包，并配合ECN（显式拥塞通知）实现端到端拥塞控制。而InfiniBand虽然价格更高，但其内建的自适应路由（AR）和拥塞控制机制，在超大规模拓扑（如Dragonfly+）中反而简化了运维复杂度。
1.5 典型场景：一个8节点GPU集群的拓扑初体验
假设你负责搭建一个用于LLM微调的8节点集群，每节点8张A100 GPU。最直接的方案是采用两层Fat-Tree拓扑：
拓扑参数：
- 8个计算节点，每节点1张ConnectX-6 HDR (200Gbps) 网卡
- 2台Leaf交换机（每台8个下行端口，连接4个节点）
- 2台Spine交换机（每台2个上行端口，连接Leaf）
- 链路类型：RoCEv2，启用PFC+ECN该拓扑下，任意两个节点间的通信路径为：节点A → Leaf1 → Spine1 → Leaf2 → 节点B，共4跳。若采用NCCL的Ring All-Reduce算法，8节点环形通信的带宽瓶颈取决于单条链路的200Gbps。但若将拓扑改为全连接（每节点直连其他7节点），虽然跳数降为1，但需要28条网卡链路，成本急剧上升。这就是拓扑设计的核心权衡：在跳数、端口数、成本与可扩展性之间寻找最优解。
1.6 课程实践环境准备
为便于后续章节的动手实验，建议准备以下环境：
- 模拟工具：NS-3网络模拟器（支持RoCEv2模型）或Omnet++，用于验证拓扑理论；
- 基准测试套件：NCCL Tests（
all_reduce_perf、alltoall_perf）、perftest（ib_write_bw、ib_read_lat）； - 监控工具：ibstat、ethtool -S（查看RoCE计数器）、交换机SNMP数据；
- 可选硬件：若条件有限，可使用云厂商的RDMA实例（如AWS EFA、阿里云eRDMA）进行小规模验证。