1. 课程导入

1.1 技术背景：为什么需要GPU Direct RDMA

在传统的高性能计算与AI训练集群中，GPU之间的数据交换通常需要经过CPU与主机内存的“中转站”。以多节点分布式训练为例，当GPU A需要将张量数据发送到另一台服务器上的GPU B时，数据路径为：GPU A → PCIe → 主机内存 → CPU拷贝 → 网卡（NIC）→ 网络 → 远端网卡 → 远端主机内存 → 远端GPU B。这条路径存在两个显著瓶颈：多次内存拷贝带来的延迟开销，以及CPU参与数据搬运造成的负载。随着GPU算力以每年数倍的速度增长，网络带宽与数据搬运效率已成为制约大规模集群扩展的关键因素。

GPU Direct RDMA（Remote Direct Memory Access）技术正是为解决这一瓶颈而生。其核心思想是：允许GPU显存与远端网卡之间直接进行DMA数据传输，绕过CPU和主机内存。在NVIDIA的软件栈中，该能力通过GPUDirect家族技术实现，其中RDMA部分依赖PCIe Peer-to-Peer（P2P）协议与InfiniBand/RoCE网络适配器协同工作。当启用GPU Direct RDMA后，数据路径简化为：GPU显存 → PCIe → 本地网卡 → 网络 → 远端网卡 → PCIe → 远端GPU显存，全程无需CPU介入，也无需在主机内存中暂存数据。

1.2 典型应用场景

GPU Direct RDMA并非一项“锦上添花”的可选优化，而是多个关键工作负载的性能基石。以下四类场景对这项技术的依赖最为突出：

• 大规模分布式AI训练：当模型参数量超过单卡显存容量时，必须借助数据并行、模型并行或流水线并行将训练扩展到多节点。NCCL的AllReduce、AllGather等集合操作在启用GPU Direct RDMA后，带宽利用率可从60%提升至95%以上。典型如GPT-4级别模型的训练，跨节点通信量可达数百GB/s。
• HPC科学计算：分子动力学模拟（如GROMACS）、计算流体力学（如OpenFOAM）等应用频繁进行多节点MPI通信。GPU Direct RDMA可消除MPI_Send/Recv路径上的CPU拷贝开销，使通信与计算重叠度更高。
• 实时数据流处理：在金融风控、在线推荐等低延迟推理场景中，GPU需要从远端存储或另一节点GPU直接拉取特征数据。RDMA的“零拷贝”特性可将端到端延迟压缩至微秒级。
• GPU虚拟化与云原生环境：借助NVIDIA vGPU与SR-IOV技术，虚拟机或容器内的GPU可直接映射物理网卡的RDMA资源，实现多租户环境下的高性能通信。

1.3 学习目标

完成本课程后，学习者应具备以下能力：

1. 理解原理：能清晰解释GPU Direct RDMA的硬件依赖（PCIe拓扑、网卡能力、GPU型号）与软件栈（NVIDIA驱动、CUDA、NCCL、OFED驱动）之间的协作关系。
2. 环境评估：能使用lspci、nvidia-smi、ibstatus等工具检查服务器是否具备部署条件，识别PCIe交换机拓扑对P2P性能的影响。
3. 部署配置：能独立完成NVIDIA驱动、CUDA Toolkit、Mellanox OFED驱动、NCCL的安装与版本匹配，正确配置nv_peer_mem内核模块。
4. 验证调优：能使用ib_write_bw、nvidia-smi、ncu等工具验证RDMA是否真正生效，并针对拓扑瓶颈进行性能调优。
5. 故障排查：能定位常见的部署失败原因，如驱动版本不兼容、PCIe ACS开启导致P2P被阻止、防火墙拦截RDMA端口等。

1.4 课程结构总览

本课程共30章，按“原理→环境→部署→验证→调优→排障”六个阶段组织，各阶段内容如下：

1.5 常见误区与学习建议