第 1 章 课程导入：大规模梯度累积与通信重叠优化的背景、学习目标与知识框架
当模型参数量从亿级迈向千亿级，单卡显存与单卡算力早已无法承载一次完整的训练迭代。数据并行、张量并行、流水线并行与 ZeRO 分片共同构成了大模型训练的并行底座，但并行度越高，通信开销越容易成为吞吐瓶颈。与此同时，受限于显存，全局批次往往无法一次性放入设备，必须拆分为多个微批次逐步前向与反向，再累积梯度后统一更新——这就是梯度累积。它让"小显存"也能训练"大 batch"，但代价是引入了更多同步点与更长的流水线气泡。
本课程聚焦一个核心命题：如何在大规模梯度累积场景下，让通信尽可能被计算掩盖，从而把 GPU 利用率从 40% 提升到 80% 以上。我们将从原理、实现、调优到排障，系统拆解梯度累积与通信重叠的协同优化方法。
1.1 背景：为什么梯度累积与通信重叠成为必修课
大模型训练中存在三组相互纠缠的矛盾：
- 显存与批量的矛盾：激活值、优化器状态、梯度副本占用大量显存，全局 batch 被迫切分为 micro-batch。
- 并行度与通信量的矛盾：TP/PP/DP/EP 并行度提升，AllReduce、AllGather、ReduceScatter、P2P 通信量随之增长。
- 计算与通信的串行矛盾：默认执行顺序是"反向算完梯度 → 启动 AllReduce → 等待完成 → 更新参数"，通信期间计算单元空转。
梯度累积把一次参数更新拆成 N 次 micro-step，天然提供了"通信窗口"：第 i 个 micro-step 的梯度通信，可以与第 i+1 个 micro-step 的反向计算重叠。若调度得当，通信时间可被完全隐藏；若调度不当，反而因累积步数增加而放大同步等待。因此，梯度累积不是简单的"多跑几次 backward"，而是一套需要与通信调度协同设计的训练策略。
1.2 核心原理：梯度累积与通信重叠的协同机制
设全局 batch 为 B，单卡 micro-batch 为 b，数据并行度为 D，则梯度累积步数 accum_steps = B / (b × D)。在标准实现中，每个 micro-step 完成反向传播后，梯度被累加到本地梯度缓冲区；只有最后一个 micro-step 结束后，才触发跨卡 AllReduce 并更新参数。
通信重叠的关键在于把"最后一次才通信"改为"边算边通信"。以 PyTorch DDP 的 no_sync 与梯度桶（bucket）机制为例：
# 伪代码：梯度累积 + 通信重叠
for step, batch in enumerate(loader):
is_last = (step + 1) % accum_steps == 0
ctx = nullcontext() if is_last else model.no_sync()
with ctx:
loss = model(batch)
(loss / accum_steps).backward()
if is_last:
optimizer.step()
optimizer.zero_grad()
其中 no_sync() 抑制前 N-1 次反向的 AllReduce，仅保留最后一次通信。进一步优化可引入梯度分桶 + 反向顺序触发：反向传播按层从后向前产生梯度，一旦某个 bucket 填满即异步发起 AllReduce，使通信与后续层的反向计算并行。这就是通信重叠的基本形态。
1.3 方法流程：从串行到重叠的四步演进
- 基线串行：每个 micro-step 都 AllReduce，通信与计算完全串行，GPU 利用率最低。
- no_sync 累积：前 N-1 步不通信，仅最后一步 AllReduce，减少通信次数但仍有尾部等待。
- 梯度分桶异步：反向过程中按 bucket 触发异步 AllReduce，通信与后续反向重叠。
- 计算通信联合调度：结合 PP 的 1F1B、TP 的序列并行、ZeRO 的 ReduceScatter，做全局流水编排。
1.4 典型场景与参数配置
以 64 卡 A100、7B 模型、全局 batch 1024 为例，常见配置如下：
| 参数 | 取值 | 说明 |
|---|---|---|
| micro-batch | 4 | 单卡单次前向样本数 |
| 数据并行度 D | 8 | 跨节点 DP 组 |
| accum_steps | 32 | 1024 / (4 × 8) |
| bucket 大小 | 25 MB | 兼顾通信次数与延迟 |
| 通信后端 | NCCL | 启用 P2P 与 NVLink |
| 重叠策略 | no_sync + 异步 bucket | 反向触发 AllReduce |
1.5 常见误区与复盘要点
误区二：只调 bucket 大小而不看反向顺序。bucket 与反向产生顺序不匹配时，会出现"桶已满但梯度未到"的空等。
误区三：忽略 no_sync 与梯度裁剪的交互。累积期间梯度未同步，裁剪若在 micro-step 内执行会改变有效梯度尺度。
复盘时应重点核对三项指标：通信时间占比、GPU 利用率曲线、单步迭代时间方差。若通信占比高于 30%，说明重叠不充分；若迭代时间方差大，说明 bucket 触发时机不稳定。
1.6 学习目标与知识框架
完成本课程后，你将能够：
- 推导梯度累积步数与全局 batch、并行度的定量关系；
- 使用 no_sync、梯度分桶、异步 AllReduce 实现通信重叠；
- 结合 PP/TP/ZeRO 设计端到端的重叠调度方案；
- 通过 profiling 定位通信瓶颈并给出调优参数；
- 识别并规避梯度累积中的收敛与数值稳定性陷阱。
本课程不追求罗列 API，而是强调"为什么这样调度"以及"参数变化如何影响吞吐与收敛"。掌握这套方法后，你面对不同模型规模、不同集群拓扑时，都能快速判断重叠是否充分、瓶颈在哪里、下一步该调什么。