1. 课程导入
大规模模型训练进入千亿参数时代后，DeepSpeed 已成为分布式训练的核心基础设施之一。它通过 ZeRO 分片、混合精度、梯度累积、通信重叠等机制，把单卡无法容纳的模型拆解到成百上千张 GPU 上协同训练。但正是这种"多层机制叠加"的特性，让故障表现与根因之间往往隔着好几层抽象：表面上是 loss 突然变成 NaN，实际根因可能是某张卡上的梯度分片在 all-gather 时发生了静默数据损坏；表面上是训练卡住不动，实际根因可能是 NCCL 在特定拓扑下等待一个永远不来的通信对端。
本课程的目标，不是教你背诵报错信息，而是建立一套从现象到根因、从根因到修复、从修复到验证的完整分析能力。学完 30 章后，你应当能够在面对一个陌生的 DeepSpeed 训练故障时，独立完成定位、隔离、修复与回归验证。
一、学习目标：三个层次的能力
本课程的学习目标分为三个递进层次，它们对应故障处理的不同深度：
- 现象层（识别）：能准确区分 OOM、NaN/Inf、通信超时、吞吐骤降、进程崩溃、静默错误等典型故障现象，并知道每类现象在日志、监控、堆栈中的特征信号。
- 机制层（定位）：理解 ZeRO 各 stage 的内存与通信模型、混合精度缩放机制、梯度累积与 all-reduce 的交互，从而把现象映射到具体机制环节。
- 修复层（验证）：能设计最小复现实验，用配置开关、环境变量、单机多卡对照等方式隔离变量，修复后通过稳定性与吞吐回归确认问题真正解决。
二、核心概念：理解故障的四个支点
在深入每一类故障之前，需要先建立四个贯穿全课程的核心概念，它们构成了根因分析的坐标系。
1. 分片与一致性。 ZeRO 把优化器状态、梯度、参数切分到不同 rank 上。任何一次分片数据的不一致——无论是精度损失、通信丢失还是 rank 间计算差异——都会在后续 all-gather 时被放大。分片一致性是 DeepSpeed 故障的第一大来源。
2. 通信与同步。 DeepSpeed 的每一步都包含大量集合通信（all-reduce、all-gather、reduce-scatter）。通信故障的典型表现不是报错，而是挂起。理解通信组、拓扑、超时参数，是排查卡死类问题的前提。
3. 精度与数值稳定性。 FP16/BF16 混合精度依赖 loss scaling。scale 过大导致溢出、过小导致下溢，都会表现为 NaN 或梯度消失。数值问题常常与分片、通信问题交织，需要分层排除。
4. 资源与生命周期。 显存、 pinned memory、CUDA context、进程组生命周期，任何一环泄漏或错配，都会在长时间训练后以 OOM 或崩溃形式暴露。
三、整体框架：四阶段根因分析流程
本课程的方法论可以概括为一条四阶段流水线，每一阶段都有明确的输入、动作与输出。
| 阶段 | 核心动作 | 关键工具/信号 | 输出 |
|---|---|---|---|
| 现象识别 | 分类故障类型，提取日志与堆栈特征 | 训练日志、dmesg、nvidia-smi、NCCL 日志 | 故障类别标签 |
| 机制映射 | 把现象对应到 ZeRO/通信/精度/资源环节 | DeepSpeed 配置、rank 分布、通信组 | 候选根因列表 |
| 变量隔离 | 用最小复现与对照实验缩小范围 | 单机多卡、关闭重叠、固定随机种子 | 确认根因 |
| 修复验证 | 修复后做稳定性与吞吐回归 | 长跑测试、吞吐曲线、loss 曲线 | 修复结论与回归报告 |
这四个阶段不是线性的，而是循环的。当变量隔离后发现候选根因不成立，需要回到机制映射重新推导。课程后续章节会针对每一类故障，展开这条流水线的具体操作。
四、典型场景：一次 NaN 故障的初步拆解
假设你遇到这样一段日志：
[rank 37] step 1200: loss=nan, grad_norm=inf
[rank 37] overflow detected, skipping step
[rank 12] step 1200: loss=3.21, grad_norm=0.87
[rank 37] step 1201: loss=nan, grad_norm=inf
...
[rank 37] loss scale reduced to 4096
[rank 37] step 1205: loss=nan, grad_norm=inf
初学者容易直接归因为"学习率太大"。但按照本课程框架，应当先做现象识别：只有 rank 37 出现 NaN，其他 rank 正常，说明这不是全局数值问题，而是局部异常。接着做机制映射：rank 37 的梯度分片在 all-reduce 前就已经是 inf，可能是该 rank 上的数据样本异常，也可能是该卡显存/计算单元出现静默错误。再进入变量隔离：固定数据顺序、单独跑 rank 37 所在节点、关闭混合精度对照。最后才可能定位到具体根因。
五、常见误区与复盘要点
在多年排障实践中，以下误区反复出现，值得在课程开始时就建立警觉：
- 误区一：报错消失等于修复。 降低 batch size 让 OOM 消失，但根因可能是分片配置不合理，换回原配置仍会复现。
- 误区二：只看主进程日志。 DeepSpeed 故障常常只在某个 rank 上暴露，必须收集全部 rank 的日志并按时间对齐。
- 误区三：忽略环境差异。 驱动版本、CUDA 版本、NCCL 版本、网卡固件的不一致，是跨节点训练故障的高频根因。
- 误区四：过早修改配置。 在未确认根因前调整 ZeRO stage 或精度设置，会引入新变量，让问题更难定位。
本课程后续将围绕上述框架，逐类拆解 OOM、NaN、通信挂起、吞吐异常、进程崩溃与静默错误等故障，并给出可操作的配置、命令与验证方法。你现在需要做的，是先把"现象—机制—隔离—验证"这条主线记牢，它会在每一章中反复出现。