3. CPU-GPU 数据路径：PCIe带宽与延迟、统一内存访问、P2P通信

在多GPU系统中，数据在CPU与GPU之间、GPU与GPU之间的移动路径直接决定了应用的整体吞吐量。本章深入剖析三种核心数据路径的底层机制、性能特征与优化策略，帮助你在实际调度中做出正确的数据放置决策。

3.1 PCIe 总线：带宽与延迟的物理瓶颈

PCIe（Peripheral Component Interconnect Express）是目前CPU与GPU之间最主流的主机接口。其性能参数直接影响数据传输效率。

3.2 统一内存访问（Unified Memory）

统一内存（UM）提供了一种编程模型，允许CPU和GPU通过单一指针访问数据，由驱动和硬件自动处理页面迁移。这简化了编程，但性能特征复杂。

• 工作原理： 按需分页迁移。当GPU访问一个尚未在显存中的页面时，触发缺页中断，从主机内存迁移到显存。
• 性能特征：
  • 小数据量： 延迟较高（每次缺页中断约 10-50 μs），但编程简单。
  • 大数据量： 吞吐量受限于 PCIe 带宽，且存在页面迁移开销。
  • 局部性： 如果访问模式是流式的（一次遍历），UM 表现良好；如果是随机跳跃访问，则可能因频繁缺页导致性能崩溃。
• 优化建议：
  1. 使用 cudaMemAdvise 为驱动提供访问模式提示。
  2. 使用 cudaMemPrefetchAsync 主动预取数据到目标设备。
  3. 对于性能关键路径，优先使用显式 cudaMemcpy。

3.3 GPU 间 P2P 通信

P2P（Peer-to-Peer）通信允许同一节点内的 GPU 直接访问彼此的显存，无需经过 CPU 内存中转。这是多 GPU 协同计算的关键能力。

• 硬件路径：
  • PCIe P2P： 通过 PCIe Switch/Root Complex 直接路由，延迟约 5-15 μs。
  • NVLink P2P： 通过专用高带宽互联，延迟约 1-3 μs，带宽可达 900 GB/s（NVLink 4.0）。
• 启用条件：
  1. GPU 必须位于同一 NUMA 节点或通过支持 P2P 的 PCIe Switch 连接。
  2. 使用 cudaDeviceCanAccessPeer 检查。
  3. 使用 cudaDeviceEnablePeerAccess 启用。
• 典型应用： 多 GPU 模型并行、AllReduce 集合通信、流水线并行。

3.4 数据路径架构总览

下图展示了三种数据路径在典型双 GPU 系统中的物理与逻辑关系：

3.5 调度策略与数据路径选择

根据应用特征选择最优数据路径，是 GPU 亲和性调度的核心决策之一。

3.6 性能调优检查清单

• 检查 PCIe 拓扑： 使用 nvidia-smi topo -m 查看 GPU 间连接类型（NVLink vs PCIe）。
• 验证 P2P 启用： 在代码中调用 cudaDeviceCanAccessPeer 确认。
• 监控页面迁移： 使用 nsys profile --stats=true 查看 UM 缺页事件数量与延迟。
• 对比带宽： 使用 cudaMemcpy 与 cudaMemcpyPeer 进行微基准测试，确认实际带宽。
• NUMA 亲和性： 确保 GPU 与 CPU 在同一 NUMA 节点，避免跨 Socket PCIe 访问。