1. 课程导入：学习目标、课程结构、GPU与RDMA协同背景

1.1 为什么需要关注“显存与RDMA缓冲”的协同？

在分布式深度学习训练、高性能计算与AI推理集群中，GPU负责计算，而数据必须通过RDMA（远程直接内存访问）从其他节点或存储系统流入GPU显存。传统做法中，数据路径往往经过CPU内存作为中转站：网卡 → CPU内存（注册的RDMA缓冲区）→ PCIe → GPU显存。这条路径引入了多次内存拷贝和CPU参与，导致延迟增加、带宽利用率下降。

更关键的是，GPU显存与RDMA缓冲区之间缺乏统一的资源视图。当显存吃紧时，RDMA缓冲池可能仍然占用着大量宝贵的CPU内存；而当网络拥塞时，显存中的临时数据又无法直接通过RDMA引擎发送。这种割裂状态，使得集群在规模化训练时频繁出现“显存OOM”或“网络空转”问题。

本课程的核心目标，就是帮助您建立“显存-网络缓冲”协同调优的系统方法论，从硬件机制、驱动行为、软件框架三个层面，掌握让数据在GPU与网络之间高效流动的实战技能。

1.2 课程结构总览

本课程共30章，分为四大模块，层层递进。下面这张图展示了课程的整体逻辑与各模块的核心主题：

1.3 GPU与RDMA协同的硬件背景

现代AI服务器中，GPU通过PCIe交换机与网卡（如ConnectX-6/7）相连。传统模式下，RDMA数据到达CPU内存后，需要CPU发起“拷贝到GPU”操作，这占用了CPU周期并增加了延迟。而GPUDirect RDMA技术允许网卡直接访问GPU显存，绕过CPU，将延迟从数十微秒降低到数微秒。

然而，这种直接访问并非没有代价：

• 显存固定（Pinning）：GPU显存中的缓冲区必须被固定，防止驱动迁移物理页，这需要CUDA驱动与RDMA驱动的紧密配合。
• 资源竞争：当多个GPU同时进行RDMA通信时，PCIe交换机的带宽成为共享瓶颈，需要合理的流量调度。
• 内存注册开销：RDMA要求内存区域提前注册（注册锁页内存并映射），注册过程本身有耗时，需要缓冲池复用。

下面这张简化的数据通路对比图，直观展示了传统路径与GPUDirect RDMA路径的差异：

1.4 常见误区与学习建议

本课程将结合NVIDIA CUDA、Mellanox OFED驱动、PyTorch分布式框架等真实环境，通过可复现的实验帮助您理解每个参数背后的原理。建议您在学习过程中，至少准备一台配备NVIDIA GPU（P100及以上）和Mellanox ConnectX-4及以上网卡的服务器，以便动手验证。