2. 精度优化的基本概念
做模型优化这些年，我见过太多人一上来就急着动手“压精度”——直接把模型从FP32砍到INT8，跑出来结果惨不忍睹。说白了，精度优化不是什么玄学，本质就是在正确性和效率之间找平衡点。
2.1 什么是精度？
在深度学习里，精度指的是数值的表示方式。咱们常用的浮点数是IEEE 754标准定义的，FP32占32位，FP16占16位。位宽越大，能表示的数值范围越广，小数点后的细节越丰富。
| 精度类型 | 位宽 | 指数位 | 尾数位 | 表示范围 |
|---|---|---|---|---|
| FP32 | 32 | 8 | 23 | ~3.4×10³⁸ |
| FP16 | 16 | 5 | 10 | ~6.5×10⁴ |
| BF16 | 16 | 8 | 7 | ~3.4×10³⁸ |
| INT8 | 8 | - | 8 | [-128, 127] |
注意看FP16和BF16的区别。BF16虽然也叫16位，但它的指数位和FP32一样宽，所以表示范围几乎不变，只是尾数精度差点。这个特点让BF16在很多场景里比FP16更稳定——我个人习惯在训练阶段优先试BF16。
2.2 为什么要做精度优化？
你想想看，同样一个模型，用FP32推理，显存占用是INT8的4倍。在边缘设备或大模型推理场景里，这个差距可能就是“能不能跑”的问题。
精度优化的驱动力主要来自三点：
- 降低显存开销：INT8比FP32省3/4的显存，这对大模型来说就是生与死的区别
- 提升计算效率：低精度运算在GPU上有专门的Tensor Core加速，吞吐量通常是FP32的2-4倍
- 减少带宽压力：数据量小了，I/O瓶颈自然缓解
我在项目中遇到过几次——模型结构没变，只是把精度从FP32降到INT8，推理速度直接翻倍，而且精度损失控制在1%以内。这收益，太明显了。
2.3 精度优化的核心概念
做精度优化，有几个概念必须搞清楚。不然你调了半天参数，可能方向都是错的。
2.3.1 量化
量化是精度优化的基础操作。说白了，就是把连续浮点数映射到离散整数上。
常见的量化公式：
Q = round(r / S) + Z其中r是原始浮点数，S是缩放因子，Z是零点偏移。反量化就是逆过程：
r = (Q - Z) × S这里有个坑——round操作会引入误差。我在做语音模型量化时，发现某些激活值刚好在量化边界附近，来回抖动，导致推理结果不稳定。
量化类型对比
- 对称量化：Z=0，计算简单，但浪费了负半轴的表示能力
- 非对称量化：Z≠0，更灵活，能更好匹配数据分布
- 逐层量化：每层用一组S和Z，平衡了精度和计算量
- 逐通道量化：每个输出通道独立量化，精度最好，但计算复杂度高
2.3.2 校准
量化时最重要的步骤是什么？校准。你选哪部分数据来做统计，直接影响量化后的精度。
校准方法主要有三种：
- MinMax：取激活值的全局最小最大值。简单粗暴，但对异常值敏感。
- Percentile：去掉头尾的极端值，用99.9%分位点代替最大值。抗噪性好。
- KL散度：让量化前后的分布尽可能接近。这是我个人最常用的方法，精度损失最小。
实战建议：校准数据集一定要有代表性。我之前掉过一个坑——用纯猫图的数据做校准，结果模型对狗图推理时精度掉得厉害。校准集应该覆盖你实际推理时的所有场景。
2.3.3 混合精度
不是所有层都适合用低精度。有些层对精度极其敏感，比如Attention中的softmax，一旦量化，模型可能直接崩掉。
混合精度的思路很简单：敏感层用FP32，不敏感层用FP16或INT8。
判断哪些层敏感，我一般先跑一层敏感度分析：
# 敏感度分析示例
for name, layer in model.named_modules():
# 先把该层量化到INT8
quantize_layer(layer, 'int8')
# 跑验证集看精度损失
loss = evaluate(model)
sensitivity[name] = loss
# 恢复原精度
restore_layer(layer, 'fp32')注意事项：敏感度分析和实际部署环境要一致。如果推理时用的GPU有Tensor Core，那么FP16的计算路径和FP32截然不同——一些FP32下不敏感的操作，在FP16下可能变得极其脆弱。
2.4 精度优化的本质
说到这里，你可以理解为什么我总强调“先理解，再动手”了。精度优化不是简单的降位宽，而是在信息论约束下，找到最优的数值表示。
每次我做精度优化，心里都有几个“红线”：
- 推理精度损失不能超过原模型的1%
- 推理延迟必须降低50%以上，否则不值得折腾
- 显存占用至少降一半，不然不如直接上FP32
这就是我给自己定的“精度优化三原则”。
2.5 知识体系总览
2.6 什么时候不该做精度优化？
嗯，这个可能比你想象得更重要。有些场景下，精度优化反而会害了你。
- 模型还在调优阶段：先别管量化，把模型本身跑准了再说
- 精度要求极其苛刻：比如医疗影像诊断，1%的精度损失可能都无法接受
- 推理硬件不支持：有些设备没有Tensor Core，INT8甚至可能比FP32慢
避坑指南：我曾经接过一个项目，客户要求模型必须量化到INT8，但部署设备是老旧CPU。结果量化完，推理速度反而慢了两倍——因为CPU上INT8计算要用额外的dequantize指令。记住：精度优化是为硬件服务的，不是为指标服务的。
2.7 我的工作流
最后分享下我自己的精度优化工作流，给个参考：
- 跑基线：先用FP32完整跑一遍，记录精度、延迟、显存三个指标
- 敏感度分析：逐层试INT8，看精度损失，找出“敏感层清单”
- 校准数据准备：从训练集里抽500-1000条有代表性的样本
- 分层量化：敏感层保持FP32，其他层量化到INT8
- 验证迭代：如果精度损失超标，回到第2步，细化敏感度分析
- 部署测试：在目标硬件上实际跑一遍，确认延迟和显存达标
这套流程我用在十几个项目里了，基本没翻过车。当然，具体调整要看你自己的模型和硬件。记住：没有完美的参数，只有够用的方案。