📚 课程目录第2章模型量化基础

模型量化基础：从 FP32 到 INT8 的压缩艺术

各位同学，今天我们来聊聊模型量化。说实话，这是我在实际部署中最常用、也最见效的优化手段之一。你想想看，一个模型从几百 MB 压缩到几十 MB，推理速度还能翻倍——这种好事，在 AI 工程里可不多见。

量化，说白了就是把模型里那些高精度的数字，换成低精度的表示。比如原本用 32 位浮点数（FP32）存权重，现在改用 8 位整数（INT8）来存。精度损失一点点，但模型体积直接缩到四分之一。

我刚开始接触量化时，总觉得这像是一种「有损压缩」。后来在项目中跑通了才发现，对于大多数推理场景，这点精度损失完全在可接受范围内。尤其是边缘设备上，内存带宽往往是瓶颈，量化带来的收益远大于损失。

  核心思想： 用更少的比特数表示数值，在精度和效率之间找到平衡点。

先看一组直观的数据对比：

看到这个表，你可能会问：INT8 范围这么小，怎么装得下 FP32 的数值？嗯，这就是量化的核心问题——我们需要一个映射关系。

量化的本质，就是一个线性映射。把 FP32 的数值范围，映射到 INT8 的整数范围上。这个映射需要两个参数：缩放因子（Scale） 和 零点（Zero Point）。

缩放因子决定了「步长」。FP32 里相邻两个数的差距，映射到 INT8 里就是 1 个整数步。公式很简单：

scale = (r_max - r_min) / (q_max - q_min)

其中 r 是原始浮点数范围，q 是量化后的整数范围。举个例子，如果 FP32 权重在 [-1.0, 1.0] 之间，INT8 范围是 [-128, 127]，那么：

scale = (1.0 - (-1.0)) / (127 - (-128))
      = 2.0 / 255
      ≈ 0.00784

这意味着，INT8 里每变化 1，对应 FP32 里变化约 0.00784。我在项目中遇到过一种情况：如果权重分布特别不均匀，比如大部分值集中在 0 附近，只有少数离群值很大，那 scale 会被拉得很大，导致精度损失严重。这时候就需要做「逐通道量化」或者「剪裁」来优化。

零点用来对齐两个数值空间的「原点」。FP32 的 0 映射到 INT8 的哪个值？就是零点。公式：

zero_point = round(-r_min / scale) + q_min

还是上面的例子：

zero_point = round(-(-1.0) / 0.00784) + (-128)
           = round(127.55) - 128
           = 128 - 128
           = 0

所以 FP32 的 0 对应 INT8 的 0。但注意，零点不一定是 0。如果数据分布不对称，零点可能偏移。我曾经调试过一个模型，量化后精度暴跌，查了半天发现是零点计算时 rounding 方向选错了，导致整个激活值偏移了一个刻度。

有了 scale 和 zero_point，我们就可以在两个世界之间自由穿梭了：

// 量化：FP32 → INT8
q = round(r / scale) + zero_point

// 反量化：INT8 → FP32
r = (q - zero_point) × scale

注意那个 round 操作——它是有损的根源。每次量化都会引入舍入误差，但好在 scale 通常足够小，误差在可接受范围内。

我的经验： 实际部署时，我习惯用对称量化（zero_point = 0）来处理权重，用非对称量化来处理激活值。因为权重通常关于 0 对称，而激活值（比如 ReLU 输出）全是非负的。对称量化少算一个参数，推理更快。

下面这张图展示了从 FP32 模型到 INT8 模型的完整量化流程：

收益很明显，但代价呢？我总结了几点：

避坑指南： 我曾经在一个 NLP 模型上做量化，直接用训练集做校准，结果上线后精度崩了。原因是训练集和线上数据的长度分布差异太大，导致激活值范围统计不准。后来改用线上采样数据做校准，问题才解决。记住：校准数据要贴近真实推理场景。

最后给一张常见量化类型的对比表，方便你快速选择：

我个人习惯是：先试权重量化，如果精度没问题就收工。如果精度损失大，再上静态量化，配合校准数据调优。别一上来就搞最复杂的方案——工程上，够用就好。