第二章：Batch Size与内存带宽

带宽利用率曲线：为什么你的GPU在“偷懒”？

好，咱们直接进入正题。Batch Size调参，很多人只盯着显存够不够用，却忽略了一个更底层的东西——内存带宽利用率。

说白了，GPU就像一条高速公路。数据就是上面的车。Batch Size太小，车流稀疏，公路利用率极低。Batch Size太大，车流密集，但可能堵车（显存溢出）。

我刚开始做深度学习时，习惯把Batch Size设成32或64，觉得这是“标准做法”。直到有一次，我在训练一个超大模型，显存明明还有富余，但GPU利用率死活上不去，只有30%左右。我盯着nvidia-smi看了半天，发现内存带宽利用率才是瓶颈。

为什么会这样？

因为每次前向传播和反向传播，GPU都需要从显存中读取权重、激活值、梯度。如果Batch Size太小，每次读取的数据量不够“塞满”内存总线，带宽就浪费了。你想想看，一辆卡车一次能拉10吨货，你每次只放1吨，那效率能高吗？

核心结论：Batch Size过小时，计算单元经常处于“等数据”的状态，内存带宽利用率低。Batch Size增大后，数据吞吐量提升，带宽利用率逐渐逼近理论峰值。

理论峰值 vs 实际吞吐：理想很丰满，现实很骨感

每张GPU都有官方标称的内存带宽。比如NVIDIA A100是1.6 TB/s，RTX 3090是936 GB/s。但实际训练中，你几乎不可能跑满这个数字。

我记得有一次在调一个BERT-large模型，Batch Size从8一路试到128。我记录了实际吞吐量（samples/sec），画了一条曲线。结果发现：

Batch Size=8时，实际吞吐只有理论峰值的15%
Batch Size=32时，提升到40%
Batch Size=128时，达到75%
再往上，吞吐增长就变缓了，因为计算本身成了瓶颈

这张图我建议你亲手画一下。用PyTorch的profiler或者NVIDIA的Nsight Systems都能拿到数据。你会发现，曲线不是线性的，而是先陡后缓，最终趋于饱和。

我的经验：对于大多数模型，Batch Size在32~128之间时，带宽利用率提升最明显。超过256后，边际收益递减。除非你的模型计算量极大（比如3D卷积），否则没必要盲目堆Batch Size。

避坑指南：我曾经踩过的三个坑

嗯，这里要注意。我见过不少同学调Batch Size时犯同样的错误。

只看显存占用，不看带宽利用率。 我曾经为了省显存，把Batch Size压到4，结果训练速度反而比Batch Size=16慢了一倍。因为GPU一直在等数据，计算单元闲置了。
盲目追求大Batch Size。 有一次我把Batch Size设成512，显存没爆，但训练速度反而下降了。后来发现是数据加载成了瓶颈——CPU来不及喂数据，GPU在空转。这时候需要优化DataLoader的num_workers和prefetch_factor。
忽略混合精度的影响。 使用FP16训练时，内存带宽需求减半，但计算吞吐翻倍。这时候Batch Size可以适当调小，因为带宽不再是瓶颈了。我习惯在FP16下把Batch Size减半，效果往往更好。

警告：不要只看nvidia-smi里的“GPU-Util”百分比。那个数值高不一定代表带宽利用率高。要使用nvidia-smi dmon或Nsight Systems查看“Memory Throughput”指标。

如何测量带宽利用率？

我建议你用PyTorch自带的profiler。下面是一个简单的代码示例：

import torch
import torch.profiler as profiler

model = MyModel().cuda()
input_data = torch.randn(batch_size, 3, 224, 224).cuda()

with profiler.profile(
    activities=[profiler.ProfilerActivity.CUDA],
    record_shapes=True,
    profile_memory=True
) as prof:
    for _ in range(100):
        output = model(input_data)
        loss = output.sum()
        loss.backward()

# 查看内存带宽相关指标
print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10))

运行后，关注“Memcpy”和“Kernel”的时间占比。如果Memcpy占比超过30%，说明带宽是瓶颈。这时候增大Batch Size通常能改善。

一张图看懂本章核心

下面我用SVG画了一张流程图，帮你理清Batch Size与内存带宽的关系：

总结一下

内存带宽利用率，是调Batch Size时最容易忽视但又最关键的因素。我个人习惯的做法是：先跑一个小实验，测量不同Batch Size下的实际吞吐，找到“拐点”——也就是吞吐增长开始变缓的那个点。那个点附近的Batch Size，通常就是最优选择。

别迷信“越大越好”。有时候，128比256更快。因为带宽利用率上去了，但计算负载还没压垮内存控制器。嗯，这就是平衡的艺术。

一句话记住：Batch Size调参，本质是在“喂饱内存带宽”和“避免显存溢出”之间找平衡。先测带宽利用率，再决定Batch Size。

想要更多资料，联系可可

📚 课程目录

第二章：Batch Size与内存带宽

带宽利用率曲线：为什么你的GPU在“偷懒”？

理论峰值 vs 实际吞吐：理想很丰满，现实很骨感

避坑指南：我曾经踩过的三个坑

如何测量带宽利用率？

一张图看懂本章核心

总结一下