2. 性能分析工具链：Linux perf、NVIDIA Nsight Systems、PyTorch Profiler、TensorBoard Profiler 的安装与基本使用

做性能调优，手里没几把趁手的工具，那真是寸步难行。我刚开始接触大模型训练时，就吃过这个亏——模型跑得慢，但就是不知道慢在哪。后来才明白，定位瓶颈比解决问题更重要。今天咱们就把这套工具链装好、跑通，后面实战才能有的放矢。

核心思路：从系统级（perf）到框架级（PyTorch Profiler），层层递进，找到真正的瓶颈。

性能分析工具链全景图 Linux perf 系统级性能分析 CPU/内存/IO Nsight Systems GPU 全链路追踪 CUDA Kernel/内存 PyTorch Profiler 框架级算子分析 算子耗时/显存 TensorBoard 可视化分析面板 数据展示/对比 层级关系：系统级 → GPU级 → 框架级 → 可视化 典型使用流程 1. perf 检查 CPU/内存瓶颈 → 2. Nsight 看 GPU 利用率 → 3. PyTorch Profiler 定位慢算子 → 4. TensorBoard 可视化对比 每个环节都有对应的「避坑指南」，后面会逐一讲到

2.1 Linux perf：系统级性能分析的瑞士军刀

perf 是 Linux 内核自带的性能分析工具。说实话，我第一次用 perf 时觉得它太「原始」了——全是命令行，输出也不够直观。但用久了你会发现，它能看到其他工具看不到的东西，比如 CPU 缓存命中率、上下文切换次数、甚至内核态的开销。

安装

# Ubuntu/Debian
sudo apt-get install linux-tools-common linux-tools-generic linux-tools-`uname -r`

# CentOS/RHEL
sudo yum install perf

# 验证安装
perf --version

个人经验：我遇到过 perf 版本和内核版本不匹配的情况，跑 perf list 直接报错。解决办法是安装对应内核版本的 linux-tools，用 uname -r 查看内核版本再装。

基本使用

perf 最常用的几个子命令：

  • perf stat：统计程序运行时的硬件事件，比如 CPU 周期、指令数、缓存未命中
  • perf record/report：采样分析，记录热点函数
  • perf top：实时查看系统热点
# 统计一个训练脚本的运行情况
perf stat python train.py

# 采样分析，记录到 perf.data
perf record -g python train.py

# 查看采样结果
perf report -g graph

你想想看，当你的训练速度上不去时，perf stat 能告诉你 CPU 是不是在空转。我曾经遇到过一个 case，GPU 利用率只有 30%，用 perf 一看，发现大量时间花在了 page_fault 上——原来是数据加载时内存分配太频繁。

注意：perf record 默认采样频率是 4000Hz，对于短时间运行的脚本可能采样点不够。可以用 -F 999 提高采样频率，但别设太高，否则会拖慢程序本身。

2.2 NVIDIA Nsight Systems：GPU 性能的 X 光机

Nsight Systems 是 NVIDIA 官方提供的 GPU 性能分析工具。说白了，它就是让你看清楚 GPU 在每一毫秒都在干什么。我个人习惯在训练跑起来后，先用 Nsight 扫一眼整体时间线，再决定要不要深入分析。

安装

# 方法一：通过 NVIDIA 开发者网站下载安装包
# https://developer.nvidia.com/nsight-systems

# 方法二：通过 pip 安装命令行工具（推荐）
pip install nsys-ui

# 验证安装
nsys --version

基本使用

# 对训练脚本进行 profiling
nsys profile -o trace_output python train.py

# 生成可视化的 .nsys-rep 文件
# 然后用 Nsight Systems GUI 打开查看

# 命令行查看统计摘要
nsys stats trace_output.nsys-rep

Nsight 的时间线视图非常直观。你会看到 CPU 和 GPU 的活动像两条平行的时间轴。如果 GPU 时间轴上出现大段空白，说明 CPU 在「喂数据」时卡住了——这就是典型的 DataLoader 瓶颈。

关键指标：关注 GPU 利用率（GPU Utilization）和 Kernel Launch 的间隔。理想情况下，GPU 利用率应该 > 90%，Kernel 之间没有明显空隙。

2.3 PyTorch Profiler：框架级的精准定位

PyTorch 自带的 Profiler 是我用得最多的工具。它和 Nsight 不同——Nsight 看的是系统级的时间线，而 PyTorch Profiler 能告诉你每个算子的耗时、显存分配、甚至 CUDA 内核的启动开销。

安装

PyTorch 1.8 以上版本自带 Profiler，无需额外安装。如果你用的是旧版本，建议升级：

pip install torch>=1.8.0

基本使用

import torch
from torch.profiler import profile, record_function, ProfilerActivity

# 定义一个简单的训练循环
def train_step():
    x = torch.randn(1024, 1024).cuda()
    y = torch.randn(1024, 1024).cuda()
    z = torch.mm(x, y)
    return z

# 使用 profiler
with profile(
    activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
    record_shapes=True,
    profile_memory=True,
    with_stack=True
) as prof:
    with record_function("train_step"):
        result = train_step()

# 打印结果
print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10))

# 导出为 Chrome Trace 格式，用 chrome://tracing 查看
prof.export_chrome_trace("trace.json")

输出结果会显示每个算子的 CPU 耗时、CUDA 耗时、调用次数、显存分配等。我一般先按 cuda_time_total 排序，看看哪个算子最耗时。

避坑指南：我曾经在 profiling 时忘了加 profile_memory=True，结果显存分配信息全没有。另外，record_shapes=True 会记录输入张量的形状，对分析动态 shape 的模型特别有用。

2.4 TensorBoard Profiler：可视化分析面板

PyTorch Profiler 导出的数据，可以用 TensorBoard 来可视化。说实话，光看命令行表格不够直观，尤其是对比不同实验时。TensorBoard 的 Profiler 插件提供了时间线、算子统计、内存分析等视图。

安装

pip install tensorboard torch_tb_profiler

基本使用

from torch.profiler import profile, ProfilerActivity

# 保存 profiling 结果到 ./log 目录
with profile(
    activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
    on_trace_ready=torch.profiler.tensorboard_trace_handler('./log')
) as prof:
    result = train_step()

# 启动 TensorBoard
# tensorboard --logdir=./log --port=6006

打开浏览器访问 localhost:6006，点击「Profile」标签页，就能看到完整的分析面板。我最常用的是「Trace」视图，它和 Nsight 的时间线类似，但粒度更细——能看到每个 PyTorch 算子的调用栈。

对比分析技巧：把优化前后的 profiling 结果分别保存到不同目录，然后在 TensorBoard 中同时打开，可以直观对比算子耗时变化。我经常用这个方法验证优化效果。

2.5 工具链的协同使用

这几个工具不是孤立的，它们应该配合使用。我总结了一个「三板斧」流程：

步骤 工具 目标 典型发现
第一板斧 perf stat 检查系统级瓶颈 CPU 利用率低、上下文切换频繁
第二板斧 Nsight Systems 查看 GPU 时间线 GPU 空闲、Kernel 启动开销大
第三板斧 PyTorch Profiler + TensorBoard 定位具体算子 某个算子耗时异常、显存分配过多

举个例子：有一次训练速度上不去，我先用 perf stat 发现 CPU 利用率只有 40%，说明 CPU 在等什么。然后用 Nsight 一看，GPU 时间线上有大段空白，原来是 DataLoader 在预处理数据时太慢。最后用 PyTorch Profiler 定位到是 torchvision.transforms 中的某个操作耗时过高。替换成更高效的实现后，训练速度提升了 2 倍。

重要提醒：Profiling 本身会引入额外开销，尤其是 PyTorch Profiler 的 profile_memory 选项。建议在 profiling 时减少 batch size 或训练步数，避免 profiling 数据过大导致内存溢出。

好了，工具链的安装和基本使用就讲到这里。记住，工具只是手段，关键是理解每个工具能解决什么问题。下一节咱们会用一个实际的训练脚本，把这些工具串起来走一遍，看看真正的瓶颈是怎么被揪出来的。

想要更多资料，联系可可

← 上一章 📖 返回目录 下一章 →