2、训练性能指标体系：吞吐量、训练时间、GPU利用率、内存带宽利用率、数据加载延迟
好，咱们直接进入正题。
训练一个模型，就像跑一场马拉松。你不能光盯着终点线，得时刻关注心率、配速、步频这些指标。训练性能指标，就是AI训练的“心率监测器”。
我个人习惯，拿到一个训练任务，先看这五个核心指标：吞吐量、训练时间、GPU利用率、内存带宽利用率、数据加载延迟。它们就像五根手指，缺了哪个都抓不住性能问题的本质。
核心观点： 这五个指标不是孤立的。它们互相影响，共同决定了你的训练到底快不快、稳不稳。
2.1 吞吐量（Throughput）—— 训练的“速度表”
吞吐量，说白了就是单位时间内能处理多少数据。最常见的单位是 samples/s（每秒样本数）或 tokens/s（每秒词元数）。
我习惯这么看：吞吐量 = 全局批次大小 / 每个迭代的耗时。
# 伪代码示例
global_batch_size = 256
iteration_time = 0.85 # 秒
throughput = global_batch_size / iteration_time
print(f"吞吐量: {throughput:.2f} samples/s")
嗯，这里要注意：吞吐量高，不一定代表训练快。为什么？因为如果模型精度上不去，你跑再快也是白费。但反过来，吞吐量低，训练一定快不了。
我的经验： 我在项目中遇到过，有人把 batch size 翻倍，吞吐量却没翻倍。一查，发现是数据加载成了瓶颈。GPU 在空转等数据，吞吐量自然上不去。
2.2 训练时间（Training Time）—— 最直观的“结果指标”
训练时间，就是模型从开始训练到收敛所花的总时长。它是个结果指标，受前面所有指标的影响。
你想想看，如果吞吐量翻倍，训练时间是不是就能减半？不一定。因为训练时间还跟收敛速度有关。有时候你用更大的 batch size，吞吐量上去了，但模型收敛变慢了，总时间反而没省多少。
| 场景 | 吞吐量 | 收敛所需迭代数 | 总训练时间 |
|---|---|---|---|
| 小 batch size | 100 samples/s | 10000 | 1000s |
| 大 batch size | 180 samples/s | 12000 | 1200s |
看到没？吞吐量高了80%，但总时间反而多了20%。这就是典型的“局部最优”陷阱。我曾经踩过这个坑，后来学乖了，训练时间才是最终裁判。
2.3 GPU 利用率（GPU Utilization）—— GPU 在“摸鱼”吗？
GPU 利用率，通常用 nvidia-smi 看。但很多人只看一个数字，比如 95%，就觉得没问题。其实不然。
GPU 利用率分两种：计算利用率和内存利用率。计算利用率高，说明 GPU 的算力被用起来了。内存利用率高，说明显存快满了。
避坑指南： 我曾经遇到一个情况，GPU 利用率显示 98%，但吞吐量就是上不去。后来用 nsys profile 一分析，发现 GPU 在频繁地做小张量操作，计算单元根本没吃饱。利用率高，但效率低。
所以，我建议你同时看这几个指标：
- GPU 计算利用率：理想值 90% 以上
- GPU 内存利用率：别超过 95%，否则容易 OOM
- GPU 温度：超过 85°C 会降频，利用率再高也没用
2.4 内存带宽利用率（Memory Bandwidth Utilization）—— 数据的“高速公路”
这个指标很多人忽略，但它其实是大模型训练的命门。
内存带宽利用率，衡量的是 GPU 显存和计算单元之间的数据传输效率。说白了，就是数据在“高速公路”上跑得有多快。
我举个例子：假设你的模型是 ResNet-50，计算量不大，但数据量很大。这时候，瓶颈往往不在计算，而在数据搬运。GPU 算得飞快，但数据送不过来，计算单元只能干等。
# 用 PyTorch Profiler 查看内存带宽
with torch.profiler.profile(
activities=[torch.profiler.ProfilerActivity.CUDA]
) as prof:
output = model(input)
print(prof.key_averages().table(
sort_by="self_cuda_time_total", row_limit=10))
嗯，这里有个关键点：内存带宽利用率高，不一定好。如果利用率高是因为数据在反复搬运（比如频繁的 tensor 拷贝），那反而是坏事。我习惯结合 ncu（NVIDIA Nsight Compute）看具体的 memory 操作。
核心观点： 内存带宽利用率，要跟计算利用率一起看。如果计算利用率低、带宽利用率高，说明模型是“带宽受限”的。这时候，优化方向是减少数据搬运，而不是堆算力。
2.5 数据加载延迟（Data Loading Latency）—— 被忽视的“隐形杀手”
这个指标，我敢说 80% 的工程师都吃过它的亏。
数据加载延迟，就是从硬盘读取数据到 GPU 显存所花的时间。如果这个时间太长，GPU 就会空转，利用率直线下降。
我遇到过最夸张的一次，数据加载延迟占了整个迭代时间的 60%。GPU 利用率只有 30% 多。后来发现是数据预处理太慢，而且没做 prefetch。
我的建议： 用 torch.utils.data.DataLoader 时，一定要设置 num_workers 和 prefetch_factor。我一般先设 num_workers=4，然后看数据加载延迟有没有降到迭代时间的 10% 以下。
# 推荐配置
dataloader = DataLoader(
dataset,
batch_size=64,
shuffle=True,
num_workers=4, # 根据 CPU 核心数调整
prefetch_factor=2, # 预取 2 个 batch
pin_memory=True # 加速 CPU->GPU 传输
)
你想想看，如果数据加载延迟是 0.1 秒，而 GPU 计算只需要 0.2 秒，那整体迭代时间就是 0.3 秒。但如果数据加载延迟变成 0.5 秒，整体就变成 0.7 秒，效率直接腰斩。
2.6 五维指标的关系图
为了让你更直观地理解这五个指标的关系，我画了一张图。它展示了从数据加载到模型收敛的完整链路，以及每个指标在其中的位置。
从这张图你能看到，数据加载延迟是起点。它慢了，后面全得跟着慢。GPU 利用率和内存带宽利用率是中间环节，决定了计算效率。吞吐量是直接产出，训练时间是最终结果。
总结一下： 这五个指标，我建议你每次训练都记录下来。用 TensorBoard 或者 WandB 打点，形成时间序列。这样，一旦训练变慢，你就能快速定位是哪个环节出了问题。
我个人习惯，先看训练时间有没有异常。如果有，再看吞吐量。吞吐量低了，就看 GPU 利用率和内存带宽利用率。如果这两个都正常，那八成是数据加载延迟的问题。按这个顺序排查，基本不会漏。
嗯，指标就讲到这里。记住，没有完美的指标，只有合适的组合。下一节，我会带你用这些指标去诊断一个真实的训练任务。