2. 模型量化基础：量化的原理、FP32/FP16/INT8/INT4的区别、量化对精度的影响
大家好，我是你们的老朋友。今天我们来聊聊模型量化。
说实话，量化这个话题，我刚开始接触的时候也觉得挺玄乎的。不就是把数字从高精度变成低精度嘛，能有多大区别？直到我在一个边缘部署项目里，模型死活跑不到实时帧率，一咬牙上了INT8量化，推理速度直接翻了3倍多。嗯，从那以后我就再也不敢小看量化了。
2.1 量化的本质：用更少的比特说清楚一件事
量化，说白了就是用更少的比特数来表示模型的参数和激活值。你想想看，一个FP32的浮点数占32个比特，换成INT8只需要8个比特，内存占用直接降到原来的四分之一。
但问题来了——精度降低了，信息会不会丢？
会的。但关键是，我们能不能接受这个损失。我个人的经验是，大部分推理任务对精度的容忍度其实挺高的。你想想看，人眼识别一张图，差那么一两个百分点的准确率，谁看得出来？
核心思想：量化是一种有损压缩，目标是在精度损失可控的前提下，换取极致的推理速度和内存效率。
2.2 量化映射：从浮点到整数的桥梁
量化不是直接把FP32的数值截断成INT8。它需要一个映射关系。最常见的叫均匀量化，公式长这样：
Q = round( (R - zero_point) / scale )其中：
- R 是原始的浮点数值
- Q 是量化后的整数值
- scale 是缩放因子，决定了每个整数步长代表多大的浮点范围
- zero_point 是零点偏移，保证浮点0能精确映射到某个整数
反量化就是反过来：
R ≈ (Q - zero_point) * scale我在项目中遇到过一个问题：如果scale选得太大，量化后的整数范围就浪费了；选得太小，又容易溢出。后来我习惯用校准数据集来统计激活值的分布，再决定scale和zero_point。这招挺管用的。
小技巧：量化时尽量保证浮点0能被精确表示。很多激活函数（比如ReLU）在0附近很敏感，零点偏移搞不好会引入额外误差。
2.3 FP32 / FP16 / INT8 / INT4 到底差在哪？
来，我们直接上表格，一目了然：
| 数据类型 | 比特数 | 表示范围 | 精度 | 典型场景 |
|---|---|---|---|---|
| FP32 | 32 | ±3.4×10³⁸ | 高（约7位有效数字） | 训练、高精度推理 |
| FP16 | 16 | ±6.5×10⁴ | 中（约3位有效数字） | 混合精度训练、移动端推理 |
| INT8 | 8 | -128 ~ 127 | 低（256个离散值） | 边缘部署、云端加速 |
| INT4 | 4 | -8 ~ 7 | 极低（16个离散值） | 极端压缩、特定硬件 |
这里我要多说一句。FP16和INT8虽然都是低精度，但本质完全不同。FP16还是浮点，只是指数位和尾数位都砍了；INT8是整数，完全靠scale和zero_point来映射。所以FP16的精度损失通常比INT8小，但压缩率也小。
INT4呢？说实话，我一般不太推荐。除非你的模型特别大，或者硬件对INT4有原生支持（比如某些NPU）。否则INT4的精度损失很难控制，我曾经在一个语义分割模型上试过，mIoU直接掉了8个点，项目差点翻车。
避坑指南：我曾经在量化一个BERT模型时，直接用了默认的INT8配置，结果下游任务的F1分数掉了5%。后来发现是某些层的激活值分布特别不均匀，需要做逐通道量化（per-channel quantization）才能稳住精度。记住：不是所有层都适合用同一个scale。
2.4 量化对精度的影响：到底能忍多少？
量化一定会掉精度，但掉多少才算「可以接受」？
我个人习惯分三步来判断：
- 先跑一个基准：用FP32模型在验证集上测出原始精度。
- 量化后对比：用同样的数据跑量化模型，看精度差了多少。
- 设定容忍阈值：一般分类任务掉1%以内算正常，检测任务掉2-3%也能接受。如果超过5%，那就要考虑量化感知训练（QAT）了。
为什么会掉精度？主要有两个原因：
- 截断误差：超出量化范围的数值被强行截断，信息丢失。
- 舍入误差：浮点值映射到最近的整数时，产生了微小偏差。
你想想看，一个模型可能有几百万个参数，每个参数都带一点舍入误差，累积起来确实会影响最终输出。但好消息是，神经网络的冗余度很高，很多参数其实没那么敏感。
经验之谈：我做过一个实验，把ResNet-50的权重全部量化到INT8，ImageNet Top-1准确率只掉了0.3%。但换成MobileNet，同样操作掉了1.8%。这说明小模型对量化更敏感，因为它的参数冗余度更低。
2.5 量化策略：不是一刀切
量化不是简单地把所有层都换成INT8。不同的层对精度的敏感度不一样。
我常用的策略有这几种：
- 逐层量化：每层独立计算scale和zero_point。灵活，但计算量大。
- 逐通道量化：卷积层的每个输出通道单独量化。精度更好，但硬件支持有限。
- 混合精度量化：敏感层（比如第一层和最后一层）保留FP16或FP32，中间层用INT8。这是我最常用的方案，平衡了精度和速度。
举个例子，我在一个目标检测模型上做过混合精度量化：
# 伪代码示意
quant_config = {
'backbone': 'INT8', # 主干网络，量化友好
'neck': 'INT8', # 特征金字塔，也还行
'head': 'FP16', # 检测头，精度敏感
'first_conv': 'FP32', # 第一层，保留原始精度
'last_conv': 'FP32' # 最后一层，同样保留
}结果呢？推理速度提升了2.5倍，mAP只掉了0.6%。嗯，这买卖划算。
2.6 知识体系总览
说了这么多，我画了一张图帮你理清思路：
这张图把量化的三个核心维度串起来了：原理告诉你量化是什么，数据类型告诉你用什么工具，精度影响告诉你代价有多大。三者缺一不可。
最后说一句：量化不是银弹。如果你的模型本身精度就不高，量化后可能直接崩掉。我建议先确保FP32模型足够好，再考虑量化。另外，校准数据集一定要选对——它决定了scale和zero_point的质量，直接影响最终效果。
好了，这一章就到这里。量化是个实践性很强的话题，光看理论不够，建议你找个模型亲手试试。嗯，下一章我们会聊更具体的量化工具和实战流程，到时候见。