2. Batch Size对梯度的影响：大Batch与小Batch的梯度估计差异，梯度噪声与收敛稳定性

好，咱们直接切入正题。Batch Size这个参数，说白了就是每次更新参数时，你看多少样本再说话。你想想看，看一张图就更新一次，和看一千张图再更新一次，那梯度能一样吗？

我个人习惯把Batch Size的影响拆成两个维度来看：一个是梯度估计的准确性，另一个是梯度噪声带来的影响。这两者其实是同一枚硬币的两面。

2.1 梯度估计：大Batch更准，小Batch更糙

先讲个直觉。假设你要估算整个训练集的平均梯度，小Batch相当于只抽了几个样本就下结论。大Batch呢，样本多了，方差自然就小了。

用数学点的话说：

小Batch：梯度估计的方差大，每次更新的方向可能偏离真实梯度
大Batch：梯度估计的方差小，方向更接近真实梯度

我在项目中遇到过一件事：用Batch Size=32训练一个图像分类模型，loss曲线抖得像心电图。换成Batch Size=256后，曲线平滑多了。但注意，平滑不一定是好事——后面会讲。

核心结论：大Batch提供更精确的梯度方向，小Batch提供更嘈杂但可能更有探索性的方向。

2.2 梯度噪声：小Batch的“双刃剑”

梯度噪声，说白了就是每次更新时那个随机扰动。小Batch的噪声大，大Batch的噪声小。

噪声大有什么好处？

有助于逃离局部极小值——就像在山区里走路，步子乱一点反而可能走出坑
相当于隐式的正则化，能提升泛化能力

噪声大有什么坏处？

收敛不稳定，loss可能反复震荡
需要更小的学习率来配合，否则容易发散

我曾经用Batch Size=8训练一个GAN，生成器死活不收敛。后来发现是梯度噪声太大，把判别器给带偏了。换成Batch Size=64后，训练稳定多了。

我的经验：如果你发现训练初期loss下降很快但后期震荡严重，可以试试逐步增大Batch Size。这叫“渐进式Batch Size”，我试过几次，效果不错。

2.3 收敛稳定性：大Batch的“陷阱”

这里有个反直觉的点：大Batch虽然梯度更准，但不一定更稳定。

为什么？

大Batch的梯度方向太“确定”了，容易一头扎进尖锐的极小值
尖锐极小值的泛化能力差，测试集上容易翻车
小Batch的噪声反而能帮你找到平坦的极小值——泛化更好

我记得有一篇经典论文（On Large-Batch Training for Deep Learning）专门讲这个。他们发现大Batch训练时，模型容易收敛到尖锐的局部极小值，泛化性能下降。

避坑指南：我曾经为了加速训练，直接把Batch Size从64改成1024。结果训练loss降得很快，但验证集准确率掉了2个点。后来加了学习率warmup和梯度裁剪才救回来。

2.4 知识体系：一张图看懂

下面这张SVG图总结了Batch Size对梯度影响的核心逻辑。我建议你多看几遍，把每个箭头的关系理清楚。

2.5 实际调参建议

说了这么多理论，来点实在的。我个人总结了一套调参流程：

起步阶段：先用Batch Size=64或128跑一轮，观察loss曲线
如果震荡严重：增大Batch Size，同时可以适当降低学习率
如果收敛太慢：减小Batch Size，增加梯度噪声来加速探索
如果验证集准确率上不去：试试小Batch，或者用学习率warmup配合大Batch

记住：没有绝对最优的Batch Size。它和学习率、优化器、数据集大小都有关系。我一般会先固定学习率，调Batch Size；找到合适的Batch Size后，再回头微调学习率。

2.6 一个简单的实验对比

下面是我用PyTorch做的一个小实验，对比不同Batch Size下的训练表现。代码很简单，但能说明问题。

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset

# 模拟数据
X = torch.randn(10000, 10)
y = torch.randint(0, 2, (10000,))

# 不同Batch Size对比
batch_sizes = [16, 64, 256, 1024]

for bs in batch_sizes:
    loader = DataLoader(TensorDataset(X, y), batch_size=bs, shuffle=True)
    model = nn.Linear(10, 2)
    optimizer = optim.SGD(model.parameters(), lr=0.01)
    criterion = nn.CrossEntropyLoss()
    
    losses = []
    for epoch in range(10):
        for batch_X, batch_y in loader:
            optimizer.zero_grad()
            output = model(batch_X)
            loss = criterion(output, batch_y)
            loss.backward()
            optimizer.step()
            losses.append(loss.item())
    
    print(f"Batch Size={bs}: 平均loss={sum(losses)/len(losses):.4f}, 方差={torch.tensor(losses).var():.4f}")

运行结果大致是：Batch Size越小，loss方差越大；Batch Size越大，loss越稳定但最终值可能偏高。嗯，这和我们前面讲的理论完全吻合。

一个小技巧：如果你用大Batch训练，记得把学习率也按比例调大。比如Batch Size翻4倍，学习率可以尝试翻2倍。但别翻太多，否则容易炸。

好了，这一章的内容就到这里。Batch Size对梯度的影响，说白了就是精度与探索的权衡。下一章我们会聊学习率怎么配合Batch Size一起调，那才是真正的实战组合拳。

📚 课程目录

2. Batch Size对梯度的影响：大Batch与小Batch的梯度估计差异，梯度噪声与收敛稳定性

2.1 梯度估计：大Batch更准，小Batch更糙

2.2 梯度噪声：小Batch的“双刃剑”

2.3 收敛稳定性：大Batch的“陷阱”

2.4 知识体系：一张图看懂

2.5 实际调参建议

2.6 一个简单的实验对比