3. 性能分析工具入门

说到算子优化，我见过太多人一上来就闷头改代码。结果改了半天，性能没提升多少，反而把逻辑搞乱了。其实，优化的第一步不是动手，而是先搞清楚——瓶颈到底在哪。

性能分析工具，说白了就是你的“听诊器”。它能告诉你：GPU在等什么？CPU在忙什么？内存带宽是不是被吃满了？今天我就带你过一遍最常用的几款工具，以及怎么读懂它们吐出来的数据。

3.1 为什么需要Profiling？

你想想看，一个算子跑得慢，原因可能有一百种：

• 计算单元没跑满（利用率低）
• 内存访问不连续（带宽浪费）
• 线程束发散（Warp Divergence）
• 核函数启动开销太大

没有工具，你只能靠猜。我早期做优化时，就吃过这个亏。有一次我盯着一个算子看了三天，觉得是计算瓶颈，拼命优化计算逻辑。结果一上Profiler才发现——问题出在数据从CPU拷贝到GPU的路上。白白浪费了三天时间。

3.2 主流Profiling工具一览

目前业界最常用的，主要是这三类：

工具	适用场景	特点
NVIDIA Nsight Systems	GPU整体性能分析	时间线视图，看CPU/GPU交互
NVIDIA Nsight Compute	GPU Kernel微观分析	指令级、寄存器级、内存级
Linux perf	CPU性能分析	轻量级，硬件计数器

我个人习惯是：先用Nsight Systems看全局，再用Nsight Compute钻细节。如果涉及CPU端的算子，就上perf。

3.3 Nsight Systems：先看全局

Nsight Systems给我的感觉，就像一张“交通地图”。它能告诉你：

• CPU在什么时候启动了Kernel
• GPU在什么时候真正开始执行
• 数据拷贝花了多久
• 有没有CPU在等GPU、或者GPU在等CPU的情况

用法很简单：

nsys profile -o my_profile ./my_application

跑完之后会生成一个 .nsys-rep 文件。用Nsight Systems GUI打开，你会看到一条清晰的时间线。

3.4 Nsight Compute：微观放大镜

当你用Nsight Systems定位到某个Kernel是瓶颈后，就该Nsight Compute上场了。它能深入到Kernel内部，告诉你：

• 计算吞吐利用率（Compute Utilization）
• 内存带宽利用率（Memory Bandwidth Utilization）
• 寄存器压力（Register Pressure）
• 共享内存使用情况

运行命令：

ncu -o my_kernel_profile ./my_application

打开报告后，我最先看的是 “Speed of Light” 图。它会告诉你：这个Kernel是计算受限（Compute Bound）还是内存受限（Memory Bound）。

嗯，这里要注意：不要只看百分比。我见过有人看到计算利用率80%就以为优化到头了。其实，如果理论峰值是100 TFLOPS，你只用了80 TFLOPS，那还有20%的提升空间。关键是要看绝对数值。

3.5 Linux perf：CPU端的利器

如果你的算子有一部分跑在CPU上（比如预处理、后处理），或者你用的是CPU推理框架，那perf就是你的好朋友。

它轻量、无侵入，直接读取CPU的硬件计数器：

perf stat -e cycles,instructions,cache-misses,cache-references ./my_application

输出示例：

Performance counter stats for './my_application':

    1,234,567,890      cycles
    2,345,678,901      instructions
       12,345,678      cache-misses
      123,456,789      cache-references

       0.987654321 seconds time elapsed

这里有个关键指标：CPI（Cycles Per Instruction）。理想情况下，现代CPU能做到每个周期执行多条指令（CPI < 1）。如果CPI > 2，说明有严重的停顿——可能是缓存未命中、分支预测失败、或者内存等待。

3.6 性能计数器解读：看懂数字背后的故事

性能计数器，说白了就是硬件给你打的“小报告”。每个计数器都对应一个硬件事件。我挑几个最常用的说说：

计数器	含义	优化方向
sm__throughput.avg.pct_of_peak_sustained_elapsed	SM计算吞吐利用率	提高并行度、减少线程束发散
dram__throughput.avg.pct_of_peak_sustained_elapsed	显存带宽利用率	优化内存访问模式、使用共享内存
l1tex__throughput.avg.pct_of_peak_sustained_elapsed	L1缓存吞吐利用率	数据复用、减少全局内存访问
inst_executed	已执行指令数	减少冗余计算、使用更高效的指令

你可能会问：这么多计数器，我该看哪个？我的经验是：先看瓶颈方向，再看具体计数器。比如Nsight Compute告诉你“内存受限”，那你就重点看 dram__throughput 和 l1tex__throughput。如果“计算受限”，就看 sm__throughput 和 inst_executed。

3.7 热点识别：找到最值得优化的地方

热点识别，就是找出整个程序中耗时最长的那部分。通常遵循“二八定律”：80%的时间花在20%的代码上。

具体怎么做？

1. 用Nsight Systems看时间线：哪个Kernel占用的时间最长？哪个数据拷贝操作最慢？
2. 用Nsight Compute钻进去：针对最耗时的Kernel，看它的“Speed of Light”图，判断是计算受限还是内存受限。
3. 用perf看CPU端：如果CPU端有热点，用 perf top 实时查看哪个函数占用CPU最多。

3.8 知识体系总览

下面这张图，是我自己总结的Profiling流程。你可以把它当作一个“检查清单”：

说白了，整个流程就是：选工具 → 看指标 → 找热点 → 做决策。循环往复，直到性能达标。