1. 课程导入
欢迎进入《GPU Direct P2P传输延迟优化》课程。在开始深入技术细节之前，本章将帮助您建立全局视野：明确学习目标、理解核心概念、掌握课程整体框架。GPU Direct P2P（Peer-to-Peer）技术是高性能计算、深度学习训练和实时推理场景中降低数据搬运开销的关键手段，而延迟优化则是发挥其潜力的核心命题。
学习目标
完成本课程后，您将能够：
- 理解GPU Direct P2P的硬件与软件基础——包括PCIe拓扑、NVLink/NVSwitch互联、CUDA编程模型中的P2P API。
- 定位并量化P2P传输延迟——掌握延迟拆解方法（软件栈开销、链路传输、协议开销），能够使用Nsight、nvprof等工具测量各阶段耗时。
- 掌握延迟优化方法论——从拓扑感知的通信调度、内存注册与映射优化、同步机制精简、传输粒度调整等多个维度实施优化。
- 具备实际调优能力——能够针对多GPU服务器、跨节点P2P（借助GPUDirect RDMA）等典型场景，设计并验证优化方案。
核心概念：什么是GPU Direct P2P？
GPU Direct P2P允许两个GPU（或GPU与支持RDMA的网卡）通过PCIe总线或NVLink直接交换数据，无需经过主机内存（CPU内存）中转。传统路径中，GPU A的数据需先拷贝到主机内存，再由主机内存拷贝至GPU B，数据经历两次PCIe往返和一次内存复制；而P2P路径下，数据直接从GPU A显存传输至GPU B显存，消除了主机内存瓶颈。
关键术语速查：
- Peer-to-Peer (P2P)：对等设备间的直接数据传输。
- NVLink：NVIDIA专有的高带宽、低延迟GPU互联总线（当前版本可达900 GB/s双向）。
- PCIe Peer-to-Peer：通过PCIe交换机实现GPU间或GPU与网卡间的直接DMA传输。
- GPUDirect RDMA：允许第三方PCIe设备（如InfiniBand网卡）直接访问GPU显存。
- cudaMemcpyPeer / cudaMemcpyAsync：CUDA中用于P2P传输的API。
- UVA (Unified Virtual Addressing)：统一虚拟地址空间，是P2P寻址的基础。
下图展示了传统拷贝路径与GPU Direct P2P路径的对比，清晰呈现延迟优化的核心切入点：
延迟的构成与优化空间
要优化延迟，必须先理解其构成。一次P2P传输的总延迟可分解为四个部分：
- 启动开销（Launch Overhead）：CUDA API调用、上下文切换、命令提交至GPU的时间，通常为3~10微秒。
- 传输准备（Setup Time）：内存注册、地址映射、同步对象初始化等，与传输大小弱相关。
- 链路传输时间（Link Transfer Time）：数据在NVLink/PCIe上实际传输的时间，与数据量成正比。
- 接收端处理（Receiver Processing）：目标GPU完成DMA写入、中断通知、事件触发等。
| 延迟分量 | 典型量级 | 优化手段 |
|---|---|---|
| 启动开销 | 3~10 μs | 使用CUDA Graph减少API调用；批量提交；避免同步 |
| 传输准备 | 1~5 μs | 预注册内存；使用固定缓冲区；避免重复cudaMemcpyPeer |
| 链路传输 | 取决于带宽（NVLink 900GB/s vs PCIe 64GB/s） | 选择最优拓扑路径；大消息分段并行；避免链路拥塞 |
| 接收端处理 | 1~3 μs | 使用异步事件；减少轮询；利用多流重叠 |
课程整体框架
本课程共30章，按“基础→测量→优化→实战”四个阶段递进：
阶段一：基础篇（第1~8章）——硬件拓扑（PCIe/NVLink/NVSwitch）、CUDA P2P API详解、UVA与内存模型、GPUDirect RDMA原理。
阶段二：测量篇（第9~14章）——延迟基准测试方法、Nsight Systems/Compute分析、P2P带宽与延迟微基准、拓扑感知的延迟矩阵。
阶段三：优化篇（第15~24章）——传输粒度调优、流与事件同步优化、内存池与注册缓存、拓扑感知通信调度、多路径并行、协议精简、避免P2P陷阱。
阶段四：实战篇（第25~30章）——多GPU服务器案例、分布式深度学习训练优化、实时推理流水线、跨节点GPUDirect RDMA调优、性能复盘方法论。
常见误区与学习建议
误区1：认为P2P总是比传统拷贝快。实际上，对于小于某个阈值（通常约几十KB）的小消息，传统路径可能更快，因为P2P的启动开销和内存注册成本无法摊薄。
误区2：忽略拓扑位置。同一台服务器内，GPU 0和GPU 1可能通过NVLink直连，而GPU 0和GPU 3可能需经过PCIe交换机，延迟差异可达数倍。
误区3：只关注带宽而忽略延迟。在同步频繁的小消息场景中，延迟比带宽更关键。
学习建议：每章结束后，请务必在真实或模拟环境中运行示例代码，亲手测量延迟数据。本课程将提供完整的CUDA示例和Nsight分析脚本，建议您准备一台至少包含2块支持P2P的NVIDIA GPU（V100/A100/H100等）的服务器，或使用NVIDIA NGC容器中的模拟环境。
现在，让我们从PCIe与NVLink的硬件拓扑开始，建立延迟优化的物理基础。