CUDA核函数与Tensor Core性能调优 - 第2节
性能分析工具入门：NVIDIA Nsight Systems与Nsight Compute
说到GPU性能调优，我经常被问到同一个问题：「我的核函数到底慢在哪？」
说实话，没有工具光靠猜，那基本就是瞎忙活。我自己刚入行那会儿，就干过这种傻事——盯着代码看半天，觉得这里该优化、那里该调整，结果改完一跑，更慢了。
后来我学乖了。调优的第一步，永远是测量。而NVIDIA给咱们准备了两把利器：Nsight Systems 和 Nsight Compute。这两兄弟分工明确，一个看全局，一个钻细节。
核心观点：Nsight Systems帮你回答「哪里慢」，Nsight Compute帮你回答「为什么慢」。两者配合使用，效率翻倍。
Nsight Systems：先看全局，再下结论
我个人习惯，拿到一个性能问题，第一件事不是打开Nsight Compute，而是先跑一遍Nsight Systems。为什么？因为很多性能问题根本不在核函数本身，而在数据传输或者CPU-GPU同步上。
它能告诉你什么？
- 时间都花在哪了：CPU在干啥？GPU在干啥？有没有空闲等待？
- 数据传输量：cudaMemcpy花了多少时间？是不是在反复拷贝？
- 核函数启动开销：启动一个核函数本身也有成本，小核函数启动多了反而亏。
- 流(Stream)的使用情况：有没有充分利用并发？
小技巧：用Nsight Systems抓时间线时，记得勾选「Collect CPU Samples」。这样你能看到CPU端在调用CUDA API前后的具体函数调用栈，定位更准。
实际操作步骤
- 在终端运行：
nsys profile -o my_profile ./my_cuda_app - 打开生成的
my_profile.qdrep文件 - 看时间线视图，重点关注GPU活动和数据传输之间的空隙
我曾经接手过一个项目，同事说「核函数太慢，得优化」。我一看Nsight Systems的时间线，好家伙，GPU实际计算时间只占30%，剩下70%都在等数据从CPU拷过来。这优化方向完全错了——先该解决数据传输问题，而不是去抠核函数里的指令。
Nsight Compute：钻到核函数内部去
当你用Nsight Systems确认了瓶颈确实在核函数内部，这时候就该Nsight Compute上场了。它是个微观分析器，能告诉你每个核函数里每一行代码的性能表现。
核心指标怎么看？
| 指标 | 含义 | 我关注的阈值 |
|---|---|---|
| Occupancy | SM上活跃warp的比例 | 低于50%要警惕 |
| Memory Throughput | 实际内存带宽利用率 | 低于理论值60%说明有瓶颈 |
| Compute Throughput | 计算单元利用率 | 低于80%可能是指令发射问题 |
| L1/L2 Hit Rate | 缓存命中率 | L1低于80%要检查访存模式 |
注意：Occupancy不是越高越好。我见过有人为了追求100% Occupancy，把每个线程的寄存器数压到极低，结果导致大量寄存器溢出到local memory，反而更慢。Occupancy要结合具体计算模式来看。
一个实战案例
假设你有这么个核函数：
__global__ void vecAdd(float* a, float* b, float* c, int n) {
int idx = threadIdx.x + blockIdx.x * blockDim.x;
if (idx < n) {
c[idx] = a[idx] + b[idx];
}
}用Nsight Compute跑一下，你会发现：
- Memory Throughput 可能只有理论带宽的30%
- 原因：非合并访问？不对，这里是一维连续访问，按理说没问题
- 再一看：指令级并行度(ILP)太低，每个线程只做一次加法，内存延迟隐藏不住
嗯，这时候优化方向就清晰了：要么让每个线程处理多个元素（增加ILP），要么用向量化加载。说白了，就是让计算单元在等数据的时候有事可做。
性能瓶颈识别：三步法
我总结了一套自己的排查流程，分享给你：
- 第一步：Nsight Systems扫全局
- 看时间线，找「大块空白」
- 确认瓶颈在计算、传输还是同步
- 第二步：Nsight Compute钻细节
- 针对耗时最长的核函数做微观分析
- 看Occupancy、带宽利用率、指令瓶颈
- 第三步：交叉验证
- 改完代码后，再用Nsight Systems跑一遍
- 确认整体时间确实下降了
避坑指南：我曾经犯过一个错误——只盯着Nsight Compute的Occupancy看，把寄存器数压到32以下，结果L1缓存被大量占用，其他核函数反而变慢了。记住：局部最优不等于全局最优。改完一个核函数，一定要回Nsight Systems看整体效果。
总结一下
Nsight Systems和Nsight Compute，一个管宏观，一个管微观。两者配合，才能精准定位性能瓶颈。别一上来就钻牛角尖，先看看全局，再决定往哪个方向使劲。
工具只是工具，关键是你怎么用它。我见过有人拿着Nsight Compute的几百页报告不知所措，也见过有人只看三个指标就找到了优化点。慢慢来，多用几次，你也会有自己的感觉。