1. 混合精度训练概述：为什么要跟精度“过不去”？

各位好，我是老张。今天咱们开篇聊一个过去几年彻底改变了深度学习训练方式的技术——混合精度训练。说实话，我第一次接触这个概念是在训练一个巨型BERT模型的时候。当时显存爆得我头皮发麻，一个batch只能塞4个样本，训练周期直接奔着两个月去了。后来团队引入混合精度，显存占用直接砍半，速度还翻了将近一倍。嗯，今天我们就来彻底拆解这背后到底发生了什么。

什么是混合精度训练？

混合精度训练，说白了就是让模型在训练过程中同时使用FP32（单精度）和FP16（半精度）两种数据类型。这不是一个简单的“一刀切”方案，而是在计算密集的地方用FP16加速省显存，在需要精度的关键环节保留FP32保证模型收敛。

你可以把它想象成一个建筑团队：搬运砖头（计算）用快而省力的滑索（FP16），画设计图（参数更新）还是用精密仪器（FP32）。两者配合，整体效率就上去了。

为什么会想到这种“混搭”方案？我个人的理解是，深度学习里很多计算其实没我们想象的那么"娇贵"。我记得有一次调试一个图像分类模型，我把中间层的激活值精度从FP32降到FP16，最终准确率只掉了0.02%，但训练速度却提升了40%。这让我意识到，我们对精度的要求其实被高估了。

为什么需要混合精度训练？

简单直接：因为模型越来越大，资源越来越贵。两年前我在公司训一个百亿参数模型，单张A100的80G显存连模型参数都塞不下，更别提做计算了。

这里有几个最直接的原因：

• 显存瓶颈：FP16的显存占用只有FP32的一半。一个10GB的模型，用FP16只有5GB。
• 计算加速：GPU做FP16计算的吞吐量远高于FP32。以A100为例，FP16的峰值算力是FP32的8倍。
• 通信减负：数据量减半意味着在分布式训练中，卡间通信的带宽压力也减半。

与传统单精度训练的区别

传统单精度训练就是全程使用FP32。优点是简单、稳定，但缺点是浪费。就像你开着一辆大排量跑车去买菜，动力过剩。

做个对比你就明白了：

对比维度	传统单精度 (FP32)	混合精度 (FP16+FP32)
显存占用	基准	约减半
训练速度	基准	提升2-8倍（取决于硬件）
数值范围	宽（±3.4×10³⁸）	窄（±65504），容易溢出
精度损失	无	极小（通过损失缩放弥补）
实现复杂度	低，原生支持	中，需特殊框架支持

• 数值范围：FP32的指数位有8位，FP16只有5位。这就意味着FP16很容易在反向传播时产生梯度下溢（变成0）或上溢（变成inf）。
• 精度粒度：FP32的尾数位有23位，FP16只有10位。所以在权重更新时，FP16会出现“舍入误差”。

我刚开始做混合精度时踩过一个坑：训练一个循环神经网络，梯度在反向传播过程中全变成了0。查了半天才发现是梯度数值太小，在FP16的表示范围下直接下溢了。这就是为什么我们需要引入下一节要讲的损失缩放（Loss Scaling）技术。

混合精度训练的核心流程

理解了概念差异，我们再看一下混合精度训练的整体流程。下面这个图是我自己总结的，每次给新人讲都会拿这个出来：

核心流程（一句话版）：
先复制一份FP32的权重 → 转为FP16 → 用FP16做前向计算 → 用FP16做反向传播
→ 将FP16梯度缩放回FP32 → 用FP32完成权重更新 → 重复

什么时候必须用混合精度？

说实话，现在大部分场景都是推荐直接上混合精度的。但有几个场景是“必须用”：

• 训练大模型：比如GPT、LLaMA这类，不用混合精度根本训不起来。
• 大批量训练：batch size大到显存告急时，混合精度能帮你缓解很大压力。
• 分布式训练：减少通信数据量，直接提升多卡扩展效率。

一个简单的入门示例

咱们以PyTorch为例，看看最基础的混合精度训练是怎么写的。其实核心就是两行代码，但背后逻辑你刚才已经全懂了：

# 导入混合精度模块
scaler = torch.cuda.amp.GradScaler()

for epoch in range(epochs):
    for inputs, labels in dataloader:
        with torch.cuda.amp.autocast():
            outputs = model(inputs)
            loss = loss_fn(outputs, labels)
        
        # 损失缩放与梯度更新
        scaler.scale(loss).backward()
        scaler.step(optimizer)
        scaler.update()
        
        optimizer.zero_grad()

看到没有？整个过程就是：用 autocast() 控制计算精度，用 GradScaler 管理梯度缩放。框架把复杂的东西都封装好了，但原理还是我们上面讲的那一套。嗯，这里要注意，scale 和 unscale 是在内部完成的，你不需要手动操作。