01
Batch Size 基础概念
什么是Batch Size · Epoch与Iteration · 为什么需要Batch训练
入门核心
02
全批量梯度下降 (BGD)
原理详解 · 优缺点分析 · 适用场景
算法经典
03
随机梯度下降 (SGD)
原理详解 · 优缺点分析 · 适用场景
算法随机
04
小批量梯度下降 (MBGD)
原理详解 · 优缺点 · Batch Size 折中艺术
主流折中
05
Batch Size 与收敛速度
大Batch加速 · 小Batch收敛慢的原因
速度分析
06
Batch Size 与泛化能力
大Batch泛化差 · 小Batch泛化好 · 平坦/尖锐极小值
泛化关键
07
Batch Size 与学习率的关系
线性缩放 · 平方根缩放 · Warmup策略
调参缩放
08
Batch Size 与显存占用
显存公式 · 模型大小权衡 · 梯度累积
显存优化
09
Batch Size 与 Batch Normalization
BN原理 · 小Batch失效 · 虚拟BN
BN稳定
10
实践：PyTorch 设置 Batch Size
DataLoader参数详解
PyTorch代码
11
实践：TensorFlow/Keras 设置 Batch Size
fit与Dataset API
TensorFlowKeras
12
实践：JAX/Flax 设置 Batch Size
JAX/Flax 数据流水线
JAXFlax
13
实验设计：Batch Size 对比实验
控制变量法 · 对比方案
实验方法
14
实验分析：Loss/Accuracy 曲线
绘制曲线 · 训练稳定性分析
分析可视化
15
常见误区：越大越好？必须2的幂？
破除迷信 · 正确理解
误区澄清
16
调参策略：从64开始
观察Loss震荡 · 逐步增减
策略实战
17
大Batch Size 训练技巧
LARS优化器 · Layer-wise Adaptive Rate Scaling
大BatchLARS
18
小Batch Size 训练技巧
增大学习率 · AdamW等稳定优化器
小BatchAdamW
19
梯度累积
原理 · PyTorch实现 · 等价性分析
累积显存
20
混合精度训练 (AMP) 与 Batch Size
FP16影响 · 显存节省效果
AMPFP16
21
分布式训练与 Batch Size
数据并行 · Global/Per-GPU Batch Size
分布式并行
22
Batch Size 与学习率 Warmup
线性Warmup · 余弦Warmup · 步数设置
Warmup学习率
23
Batch Size 与正则化
Weight Decay调整 · Dropout配合
正则化WD
24
案例1：图像分类 (ResNet-50, ImageNet)
Batch Size 调参实战
案例CV
25
案例2：NLP (BERT on GLUE)
Batch Size 调参实战
案例NLP
26
案例3：目标检测 (YOLOv5 on COCO)
Batch Size 调参实战
案例检测
27
案例4：GAN 训练中的 Batch Size
稳定性与多样性权衡
案例GAN
28
自动 Batch Size 搜索
二分搜索 · 网格搜索 · 贝叶斯优化
搜索自动
29
Batch Size 与模型部署
推理时选择 · 动态Batching
部署推理
30
总结与最佳实践
不同场景推荐值 · 调参Checklist
总结指南