3. 浮点数精度基础：FP32、FP16、BF16、TF32的表示范围、精度、舍入误差与适用场景
在大模型训练中，浮点数格式的选择直接决定了显存占用、计算吞吐和模型收敛质量。FP32曾是深度学习的默认精度，但随着模型规模从亿级跃升至万亿级参数，纯FP32训练在算力和显存上均不可承受。混合精度训练的核心，并非简单地将所有计算降为低精度，而是理解不同浮点格式的数值表示能力边界，在关键环节保留足够精度，在非关键环节激进压缩。本章将系统拆解FP32、FP16、BF16、TF32四种格式的位结构、表示范围、精度特性、舍入误差来源，并结合大模型训练的实际场景给出选型建议。
3.1 核心原理：从位结构理解数值表示能力
所有浮点数格式均遵循IEEE 754标准的基本框架，由符号位（S）、指数位（E）和尾数位（M）三部分组成。数值的通用计算公式为：(-1)^S × 1.M × 2^(E-bias)。其中，指数位决定数值的表示范围，尾数位决定数值的相对精度（即相邻可表示数值之间的间隔）。理解这一点是掌握混合精度训练的关键——范围不足导致溢出，精度不足导致舍入误差累积。
四种格式的位结构对比：
- FP32（单精度）：1位符号 + 8位指数 + 23位尾数。指数偏置为127，最大指数254，最小正规指数-126。可表示范围约±3.4×10³⁸，相对精度约2⁻²³≈1.19×10⁻⁷（约7位十进制有效数字）。
- FP16（半精度）：1位符号 + 5位指数 + 10位尾数。指数偏置为15，最大指数30，最小正规指数-14。最大有限值为65504，最小正规值为6.10×10⁻⁵。相对精度约2⁻¹⁰≈9.77×10⁻⁴（约3位十进制有效数字）。
- BF16（脑浮点）：1位符号 + 8位指数 + 7位尾数。指数位与FP32完全相同，因此表示范围与FP32一致（±3.4×10³⁸），但尾数位仅7位，相对精度约2⁻⁷≈7.81×10⁻³（约2-3位十进制有效数字）。
- TF32（TensorFloat-32）：1位符号 + 8位指数 + 10位尾数。这是NVIDIA Ampere架构引入的格式，专为Tensor Core设计。指数范围与FP32相同，尾数精度介于FP16和FP32之间，相对精度约2⁻¹⁰≈9.77×10⁻⁴。
从位结构可以看出，BF16和TF32的设计哲学是保留FP32的指数范围，牺牲尾数精度。这种取舍在大模型训练中具有实际意义：梯度在反向传播过程中可能跨越多个数量级（从10⁻¹到10⁻⁶），如果使用FP16的5位指数，很容易发生下溢（数值变为0）或上溢（数值变为无穷大）。而BF16和TF32的8位指数则完全规避了范围问题，代价是尾数精度降低，但可以通过损失缩放（Loss Scaling）和FP32累加技术来弥补。
3.2 判断方法：如何选择适合的浮点格式
在实际训练任务中，选择浮点格式需要综合考虑模型规模、硬件支持、训练阶段和数值敏感度四个维度。以下是一套可操作的判断流程：
- 检查硬件能力：确认GPU是否支持目标格式的Tensor Core加速。NVIDIA V100支持FP16，A100支持FP16、BF16和TF32，H100进一步增强了BF16和FP8支持。AMD MI200系列支持FP16和BF16。
- 评估模型动态范围：统计初始训练阶段（前100步）的梯度分布。如果梯度值的最小值小于1e-4，说明存在下溢风险，应优先选择BF16或TF32；如果梯度最大值接近65504，则存在上溢风险。
- 确定关键计算路径：权重更新（Optimizer Step）必须使用FP32，因为梯度累积和动量更新对精度极其敏感；前向传播和反向传播的矩阵乘法可以使用FP16/BF16/TF32；损失计算和Softmax等归一化操作建议保留FP32。
- 验证收敛性：在相同超参数下，分别用FP32和候选低精度格式训练50步，对比损失下降曲线。如果低精度训练的损失偏离FP32基准超过5%，则需要调整损失缩放因子或改用更高精度的格式。
| 格式 | 最大有限值 | 最小正规值 | 相对精度（十进制） | 典型硬件支持 | 推荐场景 |
|---|---|---|---|---|---|
| FP32 | 3.40×10³⁸ | 1.18×10⁻³⁸ | ~7位 | 所有GPU/CPU | 权重更新、损失缩放、精度敏感层 |
| FP16 | 65504 | 6.10×10⁻⁵ | ~3位 | V100/A100/H100 | 小模型、梯度范围可控、需损失缩放 |
| BF16 | 3.40×10³⁸ | 1.18×10⁻³⁸ | ~2-3位 | A100/H100/MI200 | 大模型（>10B）、梯度动态范围大 |
| TF32 | 3.40×10³⁸ | 1.18×10⁻³⁸ | ~4位 | A100/H100 | 卷积/矩阵乘、无需损失缩放 |
经验法则：当模型参数量超过10亿时，优先考虑BF16；当模型参数量在1亿到10亿之间，FP16配合动态损失缩放通常足够；TF32适合作为FP32的"免费降级"选项，在A100上几乎不损失精度且能获得2-3倍加速。
3.3 案例拆解： 175B训练中的精度选择
以 175B模型为例，其训练过程充分展示了浮点格式选择的工程权衡。该模型使用Adam优化器，学习率调度采用Warmup + Cosine Decay，训练数据约3000亿。
初始现象与约束：如果全程使用FP32训练，仅模型参数就需要700GB显存（175B×4字节），远超单卡80GB的A100显存容量，必须使用模型并行和流水线并行。即使如此，FP32的矩阵乘法在A100上的吞吐量仅为TF32的1/4，训练周期将长达数月。因此，必须引入低精度计算。
关键输入数据与决策过程：
- 梯度统计显示，在训练初期（前1000步），梯度范数范围在1e-6到1e-2之间，动态范围跨越4个数量级。若使用FP16，最小梯度1e-6远低于FP16的最小正规值6.1e-5，会发生严重下溢。
- 尝试FP16 + 动态损失缩放（初始缩放因子2¹⁶），但发现部分层（尤其是LayerNorm和Embedding层）的梯度仍然频繁下溢，导致这些层更新不充分，模型困惑度（Perplexity）比FP32基线高0.8。
- 切换到BF16后，由于指数范围与FP32完全一致，梯度下溢问题彻底消失。虽然尾数精度降低，但通过将主权重（Master Weights）保留在FP32，并在每次迭代时将BF16权重更新累加到FP32主权重上，有效避免了舍入误差的累积。
实际操作步骤：
- 模型参数以BF16存储用于前向/反向计算，同时维护一份FP32副本用于优化器更新。
- 损失缩放因子固定为1.0（BF16无需缩放），但保留FP32累加器用于矩阵乘法的部分和。
- LayerNorm和Softmax等归一化操作强制使用FP32计算，因为它们的输出直接参与损失计算，对精度极为敏感。
- 梯度裁剪阈值设为1.0，在BF16域内执行裁剪，然后转换为FP32进行优化器更新。
结果对比与复盘：采用BF16混合精度后，训练吞吐量提升至FP32的2.7倍，显存占用降低约45%，最终模型困惑度与FP32基线仅差0.1（在统计噪声范围内）。复盘发现，BF16的7位尾数在Embedding层和输出层（词汇表大小50万）中引入了轻微精度损失，但通过将这两个层的计算保留为FP32，问题得到解决。这一案例表明，浮点格式的选择不是全局统一的，而是需要针对不同层和不同操作进行细粒度配置。
3.4 常见误区与总结复盘
在混合精度训练实践中，以下误区值得特别注意：
误区一：FP16的精度一定比BF16高。虽然FP16的尾数位（10位）多于BF16（7位），但FP16的5位指数严重限制了其表示范围。在梯度动态范围大的模型中，FP16的下溢问题远比BF16的尾数精度损失更致命。精度是"范围+尾数"的综合结果，不能只看尾数位数。
误区二：TF32是FP32的完全替代品。TF32的10位尾数意味着其相对精度约为FP32的1/16。在需要高精度累加的场景（如注意力机制中的Softmax(QK^T)）中，直接使用TF32可能导致注意力分布失真。正确做法是：矩阵乘法使用TF32，但累加操作在FP32中完成。
误区三：损失缩放是FP16的专属工具。虽然BF16和TF32不需要损失缩放来防止下溢，但在某些极端情况下（如训练初期梯度极小），BF16的7位尾数可能无法区分梯度之间的微小差异。此时可以临时使用损失缩放（如2⁸）来放大梯度，提高尾数利用率。
总结复盘：浮点格式的选择本质上是数值动态范围、相对精度、硬件吞吐量三者之间的权衡。FP32提供最可靠的数值保障但效率最低；FP16在效率与精度之间取得平衡但需要精心管理范围；BF16牺牲尾数精度换取与FP32相同的范围，适合大规模模型；TF32则是FP32到低精度之间的"过渡档"，在A100及以上硬件上几乎零成本获得加速。在实际训练中，建议采用"主权重FP32 + 计算图低精度 + 关键层回退FP32"的混合策略，并通过梯度统计和收敛性验证来指导格式选择。