4、Batch Size核心概念：Batch Size定义、对训练收敛速度、显存占用和计算效率的影响
在深度学习训练中，Batch Size（批大小）是最基础也最容易被低估的超参数之一。它决定了每次参数更新前模型“看一眼”多少样本，直接串联起数据加载、前向传播、反向传播、梯度更新、显存分配和计算单元利用率等全链路行为。在NPU（神经网络处理器）流水线并行场景下，Batch Size不仅影响单卡计算效率，还决定了流水线各阶段的微批次划分、气泡比例和通信开销。理解Batch Size的本质，是掌握NPU并行训练调优的第一步。
4.1 Batch Size的定义与本质
Batch Size是指每次模型参数更新时使用的样本数量。在训练循环中，数据被划分为多个批次（Batch），每个批次经过一次前向传播计算损失，再通过反向传播计算梯度，最后用优化器更新参数。Batch Size直接决定了梯度估计的精度：它是对整个训练集真实梯度的一个蒙特卡洛近似，样本越多，梯度估计越接近真实梯度方向。
在NPU流水线并行场景中，Batch Size的概念需要进一步细化。流水线并行将模型按层切分到多个NPU设备上，每个设备只负责模型的一部分。此时，一个“逻辑批次”会被拆分为多个“微批次”（Micro-Batch），依次送入流水线。微批次的大小和数量共同决定了流水线的填充效率、气泡比例和通信开销。因此，理解Batch Size不能只看单卡视角，必须结合并行策略统一考量。
Global Batch = Micro-Batch × 流水线阶段数 × 数据并行度 × 梯度累积步数。
4.2 Batch Size对训练收敛速度的影响
Batch Size对收敛速度的影响体现在两个层面：一是梯度估计的噪声水平，二是学习率与Batch Size的匹配关系。小Batch Size（如32或64）每次更新使用的样本少，梯度噪声大，这反而有助于逃离尖锐的局部极小值，在训练初期可能收敛更快，但后期容易出现震荡。大Batch Size（如512或1024）梯度估计更平滑，训练曲线更稳定，但容易收敛到平坦但泛化性能较差的极值点。
实践中，当Batch Size增大时，通常需要同步调整学习率。线性缩放法则（Linear Scaling Rule）建议：Batch Size翻倍，学习率也翻倍；但学习率过大可能导致训练不稳定，因此还需要配合学习率预热（Warmup）策略。在NPU流水线并行中，由于微批次被切分，实际梯度更新频率可能低于单卡训练，因此需要重新校准学习率与Batch Size的匹配关系。
| Batch Size范围 | 梯度噪声 | 收敛特性 | 适用场景 |
|---|---|---|---|
| 32 - 64 | 高 | 前期收敛快，后期震荡 | 小数据集、微调、RLHF |
| 128 - 256 | 中 | 均衡，需配合学习率调度 | 常规CV/NLP训练 |
| 512 - 2048 | 低 | 稳定，但需线性缩放学习率 | 大规模预训练、分布式训练 |
| 4096+ | 极低 | 收敛慢，需特殊优化器（如LAMB） | 超大规模Batch训练 |
4.3 Batch Size对显存占用的影响
显存占用是Batch Size最直接的约束。在训练过程中，显存主要消耗在四个部分：模型参数、优化器状态（如Adam的一阶和二阶动量）、梯度、以及前向传播过程中保存的激活值。其中，激活值显存与Batch Size呈近似线性关系：Batch Size越大，单次前向传播需要保存的中间特征图越多，显存占用越高。模型参数、优化器状态和梯度的显存占用与Batch Size无关，只与模型规模有关。
在NPU流水线并行中，显存管理更加复杂。每个NPU只保存自己负责的那部分模型参数，但激活值需要在流水线阶段之间传递。如果Micro-Batch Size过大，每个阶段的激活值缓冲区都会膨胀，可能导致显存溢出；如果Micro-Batch Size过小，流水线填充不足，计算单元空闲等待，产生气泡。因此，Micro-Batch Size的选择需要在显存容量和流水线效率之间寻找平衡点。
npu-smi info查看可用显存，然后从较小的Micro-Batch Size（如1或2）开始尝试，逐步增大直到显存利用率达到85%-90%。不要一开始就追求大Batch，显存溢出会导致训练中断，反而降低整体效率。
4.4 Batch Size对计算效率的影响
计算效率指的是NPU计算单元的利用率。NPU擅长矩阵乘法等密集计算，当Batch Size较小时，单次矩阵运算的维度较小，计算单元无法被充分填充，导致利用率下降。例如，在Ascend 910B上执行一个形状为[1, 4096] × [4096, 8192]的矩阵乘法，其计算效率远低于形状为[128, 4096] × [4096, 8192]的运算。因此，从纯计算角度看，Batch Size越大越好。
但在流水线并行中，计算效率还受到气泡（Bubble）的影响。流水线并行将模型切分为多个阶段，每个阶段处理完一个微批次后，需要等待前一个阶段传递数据。如果微批次数量太少，流水线无法填满，气泡比例就会升高。假设流水线有4个阶段，每个阶段处理一个微批次的时间为T，则理想情况下需要至少4个微批次才能填满流水线。微批次数量越多，气泡占比越低，但微批次数量增加意味着Micro-Batch Size减小（在Global Batch不变的情况下），又可能降低单次计算效率。这是一个典型的权衡问题。
4.5 案例拆解：NPU上训练GPT-2时的Batch Size调优
某团队在8张Ascend 910B NPU上训练一个1.5B参数的GPT-2模型，序列长度为1024，词表大小为50257。初始配置为：Global Batch Size = 64，Micro-Batch Size = 2，流水线阶段数 = 4，数据并行度 = 2，梯度累积步数 = 4。训练过程中发现两个问题：一是NPU利用率仅为42%，二是显存占用达到92%，接近溢出。
分析过程：首先检查流水线气泡比例。流水线阶段数为4，微批次数量 = Global Batch / (Micro-Batch × 数据并行度) = 64 / (2 × 2) = 16。理论上16个微批次可以较好地填充流水线，气泡比例约为 (4-1)/(16+4-1) ≈ 15.8%，不算高。但NPU利用率低的原因在于Micro-Batch Size = 2时，矩阵乘法的维度太小，计算单元未被充分填充。
调整方案：将Micro-Batch Size从2增大到4，同时将梯度累积步数从4减少到2，保持Global Batch Size仍为64。此时微批次数量 = 64 / (4 × 2) = 8，气泡比例变为 (4-1)/(8+4-1) ≈ 27.3%，气泡有所增加，但单次矩阵计算的效率大幅提升。实际测试结果：NPU利用率从42%提升到68%，训练吞吐量（Tokens/Sec）从3200提升到5100，提升约59%。显存占用从92%降至85%，留出了安全余量。
复盘经验：在NPU流水线并行中，Micro-Batch Size对计算效率的影响往往大于气泡比例的影响。当Micro-Batch Size较小时，优先增大它，即使气泡比例略有上升，整体吞吐量仍可能提升。但需要注意，Micro-Batch Size增大后，激活值显存会线性增长，必须监控显存余量。此外，如果增大Micro-Batch Size后显存不足，可以考虑使用激活值重计算（Activation Checkpointing）技术，用额外计算换取显存空间。
4.6 常见误区与总结复盘
- 误区一：Batch Size只影响显存。实际上，Batch Size同时影响收敛速度、计算效率和通信开销，在流水线并行中更是牵一发而动全身。
- 误区二：Global Batch Size必须等于所有设备上的样本总和。通过梯度累积，可以在不改变Global Batch Size的情况下调整Micro-Batch Size，这为显存受限场景提供了灵活性。
- 误区三：小Batch Size一定收敛慢。在训练初期，小Batch Size的梯度噪声有助于探索，可能反而更快；但后期需要逐步增大Batch Size或降低学习率来稳定收敛。
- 误区四：只关注Batch Size而忽略学习率。Batch Size与学习率强耦合，调整Batch Size时必须同步调整学习率，否则收敛效果可能大幅退化。