课程导入：学习目标、课程结构、多GPU集群与RDMA技术概述

1.1 为什么需要关注多GPU集群的RDMA传输

现代大模型训练与科学计算早已跨越单机边界。以GPT-4级别模型为例，其参数量超过万亿，训练过程中每步迭代需要在数千张GPU之间同步梯度。若采用传统TCP/IP网络，单次All-Reduce通信可能耗时数秒，而GPU计算本身仅需毫秒级——网络成为绝对瓶颈。RDMA（Remote Direct Memory Access，远程直接内存访问）技术允许GPU显存中的数据绕过操作系统内核、CPU拷贝与协议栈，直接由网卡（RNIC）读写到对端GPU显存，将端到端时延从数十微秒降至微秒级，带宽利用率提升至90%以上。

本课程面向已具备GPU编程基础（CUDA、NCCL）与Linux网络常识的工程师，系统讲解RDMA在多GPU集群中的传输原理、协议细节、性能调优与故障排查方法。课程不局限于理论，每章均配有实测案例、配置示例与性能数据，帮助你在真实集群中落地。

1.2 课程结构与学习路径

课程共30章，按“基础→协议→实现→调优→排障”五个阶段递进。前6章夯实RDMA核心概念与硬件架构；第7-12章深入InfiniBand与RoCEv2协议细节，包括子网管理、流控与拥塞控制；第13-18章聚焦NCCL、UCX等通信库的源码级分析；第19-24章讲解拓扑感知路由、多轨设计、梯度压缩等高级优化；最后6章通过真实故障案例复盘，覆盖线缆信号劣化、PFC死锁、路由哈希不均等典型问题。

建议学习节奏：每周完成3-4章，每章配套动手实验。第5、11、18、24、30章设有综合实验，需在至少4节点（每节点8 GPU）的RoCEv2或IB集群上完成。

1.3 多GPU集群的通信瓶颈与RDMA的破局之道

先看一个典型场景：8节点DGX-A100集群，每节点8张A100 GPU，节点间通过8条200Gbps HDR InfiniBand互联。当执行AllReduce操作同步1.5GB梯度时，若使用TCP/IP（实测有效带宽约12GB/s），单次通信耗时约125ms；而使用RDMA（实测有效带宽约185GB/s），耗时仅8ms——性能差距超过15倍。这背后的核心差异在于数据传输路径。

上图清晰展示了RDMA的核心优势：数据从GPU显存出发，经PCIe总线直接到达RDMA网卡，由网卡硬件完成协议封装与路由，直接写入对端GPU显存。全程无需CPU介入数据搬运，也无需在主机内存中暂存。这种“内核旁路+零拷贝+硬件卸载”的三重设计，是RDMA低延迟高带宽的根本原因。

1.4 三种主流RDMA网络技术对比

当前生产环境主要存在三种RDMA实现，选择哪种取决于现有网络基础设施与预算：

• InfiniBand（IB）：专为RDMA设计的原生网络，端到端提供无损传输，具备子网管理器（SM）自动路由。性能最佳（当前HDR 400Gbps、NDR 800Gbps），但需要专用交换机与线缆，成本最高。适合新建HPC/AI集群。
• RoCEv2（RDMA over Converged Ethernet v2）：在标准以太网上承载RDMA，利用IP/UDP封装。需借助PFC（优先级流控）或ECN（显式拥塞通知）保证无损传输。成本低于IB，可复用现有以太网，但大规模部署时拥塞控制复杂度高。当前AI集群最主流选择。
• iWARP（Internet Wide Area RDMA Protocol）：基于TCP实现RDMA，无需无损网络即可运行，但性能受TCP重传影响，延迟高于前两者。主要用于跨数据中心场景，在单集群内较少使用。

1.5 常见误区与学习建议

初学者常陷入以下认知误区，需在课程学习中重点纠正：