第三章 性能分析工具入门
性能分析，说白了就是给代码做「体检」。
我刚入行那会儿，总觉得代码能跑就行。直到有一次，一个模型训练慢得像蜗牛爬，我盯着屏幕发呆，完全不知道瓶颈在哪。后来师傅丢给我一句：「用 perf 看看。」嗯，从那以后，我养成了一个习惯——写代码前先想好怎么测性能。
3.1 为什么需要性能分析工具？
你想想看，优化一个算子，如果没有数据支撑，全靠猜，那跟闭着眼开车有什么区别？
性能分析工具能告诉你三件事：
- 时间花在哪了——哪个函数、哪行代码最耗时
- 资源用在哪了——CPU、GPU、内存、带宽，谁在拖后腿
- 瓶颈是什么——是计算密集，还是访存受限
核心原则：先测量，后优化。没有数据，不要动手改代码。
3.2 Linux perf：系统级性能剖析
perf 是 Linux 内核自带的性能分析工具。轻量、无侵入，适合快速定位 CPU 层面的热点。
3.2.1 基本用法
# 统计 CPU 周期和指令数
perf stat ./my_program
# 采样热点函数
perf record ./my_program
perf report我个人习惯先用 perf stat 看整体指标，比如 IPC（每周期指令数）。如果 IPC 低于 1，说明代码大概率有访存瓶颈或分支预测失败。
3.2.2 避坑指南
我曾经在虚拟机里跑 perf，结果采样结果全是乱码。后来才发现，虚拟机里的 PMU（性能监控单元）模拟不完整。所以，perf 最好在物理机上用。
3.3 NVIDIA Nsight Systems：GPU 时间线分析
Nsight Systems 是 NVIDIA 出品的系统级分析工具。它能看到 CPU 和 GPU 之间的交互，比如 kernel 启动、数据传输、同步等待。
3.3.1 核心功能
- 时间线视图：直观展示 CPU 和 GPU 的活动
- API 追踪：记录 CUDA、cuDNN、TensorRT 等调用
- 内存操作：显示 Host-Device 数据传输
小技巧：用 nsys profile -t cuda,nvtx 启动，加上 NVTX 标记可以自定义时间区间，方便定位特定算子。
3.3.2 实际案例
我在优化一个卷积算子时，发现 GPU 利用率只有 30%。用 Nsight Systems 一看，原来是 CPU 端的数据预处理太慢，导致 GPU 一直在等数据。说白了，这是「喂不饱」的问题。
3.4 NVIDIA Nsight Compute：GPU Kernel 微观分析
如果说 Nsight Systems 是「宏观地图」，那 Nsight Compute 就是「显微镜」。它专门分析单个 CUDA kernel 的性能。
3.4.1 关键指标
| 指标 | 含义 | 理想值 |
|---|---|---|
| Occupancy | SM 上活跃 warp 的比例 | ≥ 50% |
| Memory Throughput | 显存带宽利用率 | ≥ 80% |
| Compute Throughput | 计算单元利用率 | ≥ 80% |
| Sector Misses | 缓存未命中次数 | 越低越好 |
3.4.2 使用流程
# 分析单个 kernel
ncu --kernel-name my_kernel ./my_program
# 生成详细报告
ncu --set full -o report ./my_program注意：Nsight Compute 需要以 root 权限运行，否则无法读取 GPU 性能计数器。
3.5 Intel VTune：CPU 深度分析
VTune 是 Intel 的旗舰性能分析工具。它比 perf 更强大，能分析微架构层面的问题，比如缓存 miss、分支预测、向量化效率。
3.5.1 常用分析类型
- Hotspots：热点函数分析
- Memory Access：内存访问模式分析
- Microarchitecture：微架构性能计数器分析
- Threading：多线程同步与竞争分析
3.5.2 个人经验
我记得有一次优化一个矩阵乘法算子，用 VTune 的 Memory Access 分析发现，数据在 L2 缓存里频繁冲突。后来改了数据布局，性能直接翻倍。嗯，VTune 的「Cache Miss」视图真的很好用。
3.6 AMD ROCProfiler：AMD GPU 性能分析
如果你用的是 AMD 的 GPU，那 ROCProfiler 就是你的首选。它和 Nsight Compute 类似，但针对 ROCm 生态。
3.6.1 基本用法
# 收集性能数据
rocprof --stats ./my_program
# 查看 kernel 耗时
rocprof --hsa-trace ./my_program3.6.2 注意事项
我曾经在 ROCProfiler 上踩过一个坑：默认的计数器集合可能不包含你想要的指标。记得用 --list-basic 查看所有可用的计数器，然后手动指定。
3.7 工具选型指南
这么多工具，到底用哪个？我一般这样选：
| 场景 | 推荐工具 | 理由 |
|---|---|---|
| 快速定位 CPU 热点 | perf | 轻量、无依赖 |
| GPU 整体性能分析 | Nsight Systems | 时间线清晰，CPU-GPU 交互一目了然 |
| GPU Kernel 微观优化 | Nsight Compute | 指标全面，能定位到指令级问题 |
| CPU 微架构优化 | VTune | 深度分析缓存、分支、向量化 |
| AMD GPU 优化 | ROCProfiler | ROCm 生态专属 |
3.8 本章知识体系
下面这张图，帮你理清各工具的关系和适用场景：
3.9 写在最后
工具只是手段，不是目的。我见过有人把 Nsight Compute 的报告翻来覆去看三天，却不知道自己要优化什么。记住：先想清楚问题，再选工具。
我的建议：从 perf 和 Nsight Systems 入手，先建立「整体感」。等你能一眼看出瓶颈在哪，再深入微观工具。别一上来就钻牛角尖。