4. CUDA性能分析工具

4.1 核心原理：三类工具的分工与定位

CUDA性能分析工具经历了从命令行到图形化、从粗粒度到细粒度的演进。理解三者的分工是高效定位性能瓶颈的前提。nvprof是CUDA 8及之前版本附带的命令行分析器，提供内核时间、内存传输、API调用等概要信息；NVIDIA Nsight Systems（nsys）面向系统级时间线，展示CPU与GPU之间的异步执行、API调用耗时、内存拷贝与内核启动的时序关系；NVIDIA Nsight Compute（ncu）则深入内核内部，分析SM利用率、内存吞吐、指令执行效率、warp状态等微架构级指标。

三者的关系可以类比为：nsys回答“时间花在哪里”，ncu回答“内核为什么慢”，而nvprof则是两者的轻量级前身。在实际调优流程中，通常先用nsys定位宏观瓶颈（如内存拷贝过多、内核启动间隙过大），再用ncu对热点内核做微观剖析。

4.2 方法流程：从宏观到微观的调优路径

推荐的分析流程分为四个阶段，每个阶段使用不同的工具组合：

1. 阶段一：系统级扫描（nsys）。运行 nsys profile --stats=true ./your_app，获取完整的CPU-GPU时间线。重点观察：内核启动是否密集、内存拷贝是否与计算重叠、是否存在CPU等待GPU的空闲间隙。
2. 阶段二：内核级筛选（nsys + nvprof）。从nsys报告中找出耗时占比最高的3~5个内核，记录其名称、耗时、启动次数。若使用旧版本CUDA，可用 nvprof --print-gpu-trace ./app 获得类似信息。
3. 阶段三：微架构剖析（ncu）。对热点内核执行 ncu --set full --kernel-name "your_kernel" ./app，分析SM占用率、内存吞吐、指令混合、warp stall原因等。
4. 阶段四：优化验证。修改代码后重新执行阶段一和阶段三，对比关键指标变化，确认优化有效。

4.3 案例：使用nsys定位内存拷贝瓶颈

以下是一个典型的深度学习推理程序片段，包含数据预处理、H2D拷贝、内核执行、D2H拷贝四个阶段：

// 伪代码示例
cudaMemcpy(d_input, h_input, N * sizeof(float), cudaMemcpyHostToDevice);
myKernel<<<grid, block>>>(d_input, d_output, N);
cudaMemcpy(h_output, d_output, N * sizeof(float), cudaMemcpyDeviceToHost);

使用nsys分析后，时间线可能显示如下特征：

• H2D拷贝耗时约 2.1 ms，但内核执行仅 0.8 ms，D2H拷贝 1.9 ms。
• 三个操作在时间线上完全串行，没有重叠。
• CPU在等待D2H完成时处于空闲状态（gap约1.5 ms）。

这个案例的优化方向非常明确：使用CUDA流（Stream）将H2D、内核、D2H放入不同流中，实现拷贝与计算的重叠。修改后再次用nsys验证，总耗时从4.8 ms降至2.9 ms，加速比约1.65倍。

4.4 工具对比与选择清单

4.5 常见误区与复盘