1. 课程导入：异构加速计算与RDMA协同的背景、学习目标与课程框架
1.1 为什么需要异构加速计算与RDMA协同
现代数据中心与高性能计算集群正面临一个根本性矛盾：计算密度持续提升，而数据搬运能力严重滞后。以GPU、FPGA、ASIC为代表的异构加速器提供了强大的并行算力，但若数据仍停留在CPU内存中，加速器便只能空转等待。传统PCIe总线与TCP/IP网络协议栈在跨节点、跨设备的数据传输中引入了过高的延迟与CPU开销，使得“算得快”被“传得慢”所抵消。
RDMA（Remote Direct Memory Access，远程直接内存访问）技术的引入，允许一台主机的应用直接读写另一台主机的内存，绕过操作系统内核与CPU拷贝路径，将端到端延迟从数十微秒降低到微秒甚至亚微秒级。当异构加速器与RDMA网络结合时，数据通路从“CPU→内存→网卡→对端CPU→对端内存→加速器”的冗长链路，简化为“加速器内存→RDMA网卡→对端RDMA网卡→对端加速器内存”的直达通道。这种协同并非简单的技术叠加，而是需要重新设计数据流、内存管理、同步机制与故障处理逻辑。
1.2 学习目标
完成本章及后续课程后，学习者应具备以下能力：
- 理解数据通路本质：能够描述从应用层到底层硬件的完整数据流，识别每个环节的瓶颈与优化空间。
- 掌握RDMA核心机制：理解队列对（QP）、完成队列（CQ）、内存注册（MR）、地址向量（AH）等核心抽象的工作方式。
- 设计协同架构：能够针对典型场景（如分布式训练、AI推理、存储卸载）设计异构加速器与RDMA协同的数据流方案。
- 排查性能问题：能够使用工具（如perftest、ibstat、GPU性能计数器）定位协同链路中的性能瓶颈。
1.3 课程框架总览
本课程共30章，按知识递进关系分为五个阶段。下表展示了各阶段的核心主题与关键能力要求：
| 阶段 | 章节范围 | 核心主题 | 关键能力 |
|---|---|---|---|
| 基础篇 | 第1~6章 | 异构计算基础、RDMA原理、数据通路模型 | 理解架构、识别组件 |
| 机制篇 | 第7~14章 | 队列机制、内存管理、同步语义、错误处理 | 掌握API、编写代码 |
| 协同篇 | 第15~22章 | GPU Direct、多节点协同、流水线设计 | 系统设计、性能优化 |
| 实践篇 | 第23~27章 | 分布式训练、存储卸载、容器化部署 | 工程落地、问题排查 |
| 进阶篇 | 第28~30章 | 性能调优、故障诊断、前沿趋势 | 深度优化、架构创新 |
1.4 典型应用场景：分布式AI训练
以大规模语言模型（LLM）的分布式训练为例，数据并行与模型并行策略要求GPU之间频繁交换梯度与激活值。传统方案中，GPU通过PCIe将数据拷贝到CPU内存，再经TCP/IP网络发送，单次通信延迟可达50μs以上，严重拖慢训练迭代速度。
采用GPUDirect RDMA技术后，NVIDIA GPU的显存地址可直接被RDMA网卡访问，梯度数据从GPU显存出发，经PCIe Switch直达RNIC，再通过InfiniBand或RoCEv2网络到达对端RNIC，最终写入对端GPU显存。整个过程无需CPU参与数据搬移，单次通信延迟降至2~3μs，带宽利用率提升至95%以上。
1.5 常见误区与学习路径
初学者在学习异构加速与RDMA协同时常陷入以下误区：
- 误区一：认为RDMA只是“更快的网络”。实际上RDMA的核心价值在于内核旁路与零拷贝，它改变了数据通路的拓扑结构，而非单纯提升链路速率。
- 误区二：忽略内存注册与同步开销。RDMA要求对通信缓冲区进行注册（锁定内存页），注册本身有开销；若频繁注册/注销小缓冲区，性能可能反而劣于传统TCP。
- 误区三：将GPU显存与系统内存混为一谈。GPU显存由GPU设备管理，RDMA访问GPU显存需要额外的映射机制（如GPUDirect RDMA中的BAR映射），不能直接使用普通内存注册流程。