3. 数据传输基础与性能度量

在GPU计算中，计算单元再快，数据送不进去也白搭。主机内存与设备显存之间、以及多GPU之间的数据搬运，往往决定了端到端性能的上限。本节围绕四个相互关联的问题展开：链路能提供多大带宽、用哪种API发起传输、如何测量真实耗时、以及如何判断瓶颈究竟在链路上还是在别处。

一、PCIe与NVLink的带宽特性

PCIe是主机与GPU之间的通用互连。以PCIe 4.0 x16为例，单通道单向理论速率约2 GB/s，16通道单向约32 GB/s，双向合计约64 GB/s；PCIe 5.0 x16则在此基础上翻倍。需要注意，这些是编码后的有效载荷带宽，实际可达值通常只有理论值的70%～85%，因为协议开销、TLP包头、流控与重传都会消耗有效带宽。此外，若GPU插在x8甚至x4插槽上，带宽会按通道数成比例缩减，这是排查“为什么这块卡比那块慢”时首先要确认的物理事实。

NVLink是GPU之间的高带宽直连。以较常见的NVLink 3.0为例，单链路双向约50 GB/s，多链路聚合后单GPU可达数百GB/s量级，远高于PCIe。其意义在于：多卡训练中的梯度同步、参数广播、张量并行通信，若走PCIe会迅速成为瓶颈，而NVLink配合NVSwitch可提供近似全互联的高带宽拓扑。判断原则很直接——跨节点通信走网络（如InfiniBand/RoCE），节点内跨GPU通信优先走NVLink，主机与设备间数据交换走PCIe。若程序在节点内多卡场景下仍走PCIe，通常意味着没有正确启用P2P访问或拓扑不被识别。

二、同步与异步传输API

以CUDA为例，最基础的传输接口是cudaMemcpy，它是同步语义：调用后在数据完成搬运前不返回（对页锁定内存与设备间拷贝，行为细节略有差异，但默认按同步理解最稳妥）。同步传输的优点是逻辑简单、便于调试；缺点是CPU在等待期间完全空转，无法与计算重叠。

异步传输使用cudaMemcpyAsync，它把拷贝任务提交到指定流（stream）后立即返回，由DMA引擎在后台执行。要真正实现“拷贝与计算重叠”，必须满足三个条件：使用页锁定（pinned）主机内存，否则驱动可能退化为分阶段同步拷贝；拷贝与计算位于不同流；用事件或流同步保证依赖正确。典型写法是：

cudaStream_t s1, s2;
cudaStreamCreate(&s1); cudaStreamCreate(&s2);
// H2D 异步拷贝到流 s1
cudaMemcpyAsync(d_a, h_a, bytes, cudaMemcpyHostToDevice, s1);
// 在 s2 上启动与 d_a 无关的计算，实现重叠
kernel_b<<<grid, block, 0, s2>>>(d_b);
// 等待 s1 拷贝完成后再用 d_a 计算
cudaStreamSynchronize(s1);
kernel_a<<<grid, block, 0, s1>>>(d_a);

这里的关键不是记住API，而是理解流是并发调度的基本单位：同一流内操作按序执行，不同流之间可并行。异步传输若全部塞进默认流，重叠就无从谈起。另外，页锁定内存分配（cudaHostAlloc）会占用不可换出的物理内存，不宜无节制使用，常见做法是分配少量 staging 缓冲区循环复用。

三、传输耗时测量方法

测传输时间不能只用CPU墙钟，因为异步调用返回时数据可能还没搬完。正确做法是用CUDA事件在设备侧打点：在拷贝前后各记录一个事件，cudaEventElapsedTime给出毫秒级间隔。测量时应先做若干次预热，排除首次调用的上下文初始化、页表建立等一次性开销；再连续测量多次取中位数或均值，避免单次抖动误导结论。

一个实用的测量流程是：固定传输字节数（如256 MB），分别测H2D、D2H、D2D三个方向，每个方向预热5次、正式测20次。若发现小尺寸传输的有效带宽远低于大尺寸，通常说明固定开销（启动延迟、驱动提交）占比过高，此时应增大单次传输粒度或做批量合并，而不是怀疑链路本身。

四、带宽利用率计算与瓶颈定位

有效带宽的计算公式为：有效带宽 = 传输字节数 ÷ 传输耗时。带宽利用率则是有效带宽与链路理论带宽之比。举例来说（以下为教学示例数据，非实测）：一次H2D拷贝传输256 MB，测得耗时12 ms，则有效带宽 ≈ 256×1024×1024 ÷ 0.012 ≈ 22.4 GB/s；若链路为PCIe 4.0 x16（理论32 GB/s），利用率约70%，属于正常范围。若同样数据测得耗时30 ms，有效带宽仅约8.9 GB/s，利用率不足30%，就应进入排查。

瓶颈定位建议按以下顺序排查：先看物理链路——用nvidia-smi topo -m确认GPU挂在哪个PCIe插槽、通道数是否为x16、多卡间是NVLink还是SYS（经PCIe交换机）；再看内存类型——主机缓冲区是否为页锁定内存，普通可分页内存会显著拉低异步拷贝效率；再看并发结构——拷贝与计算是否真的在不同流、是否存在不必要的全流同步；最后看访问模式——传输粒度是否过小、是否频繁小包往返。多数“带宽上不去”的问题，根源在页锁定内存缺失或流使用不当，而非链路规格不足。