第1章 课程导入：混合精度训练的定义、发展背景、核心价值与整体课程框架
在深度学习模型规模持续膨胀的今天，训练一个百亿甚至千亿参数的大模型，往往意味着数十张甚至上千张加速卡连续运行数周。显存容量、显存带宽和算力利用率，成为制约训练效率的三道硬门槛。混合精度训练（Mixed Precision Training）正是在这一背景下被广泛采用的关键技术：它让模型的不同计算环节分别使用 FP16、BF16、FP32 等不同精度的数据类型，在尽量不损失模型精度的前提下，显著降低显存占用、提升计算吞吐。
然而，混合精度训练并非"打开开关就变快"的免费午餐。损失缩放（Loss Scaling）设置不当、梯度下溢、参数更新被舍入、LayerNorm 与 Softmax 数值溢出等问题，都会让训练曲线出现异常：loss 突然变成 NaN、梯度范数剧烈震荡、验证集指标停滞甚至倒退。本课程的核心目标，就是帮助你在享受混合精度加速收益的同时，系统性地识别、定位并校准这些精度异常。
一、什么是混合精度训练
混合精度训练指的是在一次训练迭代中，同时使用多种数值精度完成不同计算任务。典型组合是：前向传播与反向传播的矩阵乘法使用 FP16 或 BF16，而参数主副本（Master Weights）、梯度累加、优化器状态以及归约操作使用 FP32。这样做的逻辑是——矩阵乘法对精度相对宽容、计算量最大，适合低精度加速；而参数更新对数值范围敏感、计算量小，保留 FP32 更安全。
要理解混合精度，必须先理解浮点数的三个关键量：符号位、指数位和尾数位。FP32 有 8 位指数、23 位尾数；FP16 只有 5 位指数、10 位尾数，动态范围窄、精度低；BF16 有 8 位指数、7 位尾数，动态范围与 FP32 相当，但精度更粗。下面的示意图对比了三种格式的位分配及其对训练的影响。
二、发展背景：从 FP16 到 BF16 的演进
混合精度训练的工程化普及，大致经历了三个阶段。第一阶段以 NVIDIA Pascal 架构引入 FP16 存储与计算为起点，研究者发现单纯把网络转成 FP16 会因梯度下溢而无法收敛，于是 Micikevicius 等人在 2017 年提出"FP32 主副本 + Loss Scaling"的经典方案，奠定了现代混合精度训练的基本范式。第二阶段是 Tensor Core 的成熟，Volta 及之后的架构让 FP16 矩阵乘法的吞吐达到 FP32 的数倍，混合精度从"能省显存"升级为"能大幅提速"。第三阶段是 BF16 的崛起，Google TPU 与后续 GPU 对 BF16 的支持，让训练摆脱了对 Loss Scaling 的强依赖，数值稳定性显著改善，逐渐成为大模型预训练的主流选择。
这段演进揭示了一个重要规律：精度格式的选择，本质上是动态范围与有效精度之间的权衡。FP16 精度更高但范围窄，BF16 范围宽但精度粗。理解这一点，是后续排查精度异常的基础。
三、核心价值：为什么值得用混合精度
混合精度训练带来的收益可以归纳为三个维度。其一是显存收益：激活值、梯度以 FP16/BF16 存储，显存占用可降至 FP32 的一半左右，使更大 batch size 或更大模型成为可能。其二是算力收益：Tensor Core 在低精度下的理论峰值远高于 FP32，矩阵乘法密集型网络可获得明显加速。其三是通信收益：分布式训练中梯度 AllReduce 的数据量减半，通信瓶颈得到缓解。
核心权衡：混合精度用"可控的数值误差"换取"显著的资源效率"。收益越大，越需要一套完整的精度监控与校准机制来兜底。
四、常见精度异常与误区
初学者最容易陷入的误区，是认为"混合精度只是把 dtype 改成 float16"。实际上，精度异常往往以隐蔽的方式出现。下面这张清单列出了典型症状与初步判断方向。
| 异常症状 | 可能原因 | 初步排查方向 |
|---|---|---|
| loss 变为 NaN / Inf | 梯度溢出、Loss Scale 过大 | 检查 GradScaler 是否跳过该步、降低初始 scale |
| loss 长期不下降 | 梯度下溢被舍入为 0 | 确认 Loss Scaling 是否生效、检查梯度范数 |
| 验证指标轻微退化 | 参数更新精度不足 | 确认是否保留 FP32 主副本 |
| 训练后期突然发散 | 动态 Loss Scale 调整滞后 | 观察 scale 变化曲线与跳过步比例 |
| LayerNorm/Softmax 溢出 | 归约操作在低精度下累加 | 将归约与归一化强制使用 FP32 |
注意：并非所有精度异常都会立刻表现为 NaN。有些异常是"慢性"的——模型仍能训练，但收敛速度变慢、最终精度下降几个千分点。这类问题更难发现，也更需要系统化的监控手段。
五、本课程整体框架
围绕"精度异常"与"参数校准"两条主线，本课程共 30 章，整体分为五个模块。第一模块建立概念基础，讲清混合精度的原理、数值表示与收益边界；第二模块深入 Loss Scaling 机制，包括静态与动态缩放的实现细节与调参方法；第三模块聚焦典型精度异常的定位与排障，覆盖梯度下溢、溢出、归约误差、算子精度不匹配等场景；第四模块讲解参数校准与稳定性调优，包括主副本管理、归一化层处理、学习率与 scale 的协同；第五模块通过真实案例复盘，把前述方法串成可落地的工程流程。
学习本课程不需要你事先精通浮点数值分析，但需要你具备基本的 PyTorch 训练经验，理解前向、反向、优化器更新的基本流程。课程中的代码示例以 PyTorch 的 AMP（Automatic Mixed Precision）为主，同时会说明其在其他框架中的对应概念。
# 一个最小的混合精度训练片段，后续章节将逐行拆解
scaler = torch.cuda.amp.GradScaler()
for inputs, targets in dataloader:
optimizer.zero_grad()
with torch.cuda.amp.autocast(dtype=torch.float16):
outputs = model(inputs)
loss = criterion(outputs, targets)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()这段短短几行的代码，背后隐藏着 Loss Scaling、梯度检查、参数更新精度、算子自动降级等一系列机制。接下来的章节，我们将逐一打开这些"黑盒"，让你不仅会用，更能在出现精度异常时快速判断问题出在哪一层、该调哪个参数。