📚 课程目录第3章量化感知训练（QAT）原理

量化感知训练（QAT）原理：伪量化节点、直通估计器（STE）、训练后量化（PTQ）对比

说到模型量化，很多刚入行的朋友第一反应就是——直接拿训练好的模型，转成int8不就行了？嗯，确实可以。但效果嘛……我见过太多项目在PTQ这一步翻车了。精度掉得惨不忍睹，尤其是小模型或者对精度敏感的部署场景。

这时候，QAT（量化感知训练）就该上场了。说白了，QAT就是在训练过程中就把量化带来的误差考虑进去，让模型自己学会适应低精度。今天咱们就把QAT的底裤扒干净，看看它到底是怎么工作的。

1. 伪量化节点（FakeQuant）——模拟量化误差的“替身”

先问一个问题：为什么不能在训练时直接做真正的量化？

因为真正的量化操作（比如把float32截断成int8）是不可微的。梯度传不过去，模型就没法更新参数。那怎么办？

QAT的做法很巧妙——插入伪量化节点（FakeQuant）。它模拟了量化的效果，但保留了浮点数的形式，让梯度能够顺利通过。

伪量化节点的数学本质：

输入 x，量化参数 scale 和 zero_point，伪量化输出为：

clamp(round(x / scale) + zero_point, q_min, q_max)  // 量化
然后反量化回浮点：
(clamp(round(x / scale) + zero_point, q_min, q_max) - zero_point) * scale

你看，输入输出都是浮点数，但中间经历了量化-反量化的过程，误差就被模拟出来了。

我在项目中遇到过一种情况：模型在训练时精度很高，但部署到NPU上就崩了。查了半天，发现是伪量化节点的scale设置得太粗糙，导致激活值的分布被严重截断。后来我调整了scale的初始化策略，问题才解决。

我的经验：伪量化节点的scale初始化很关键。建议先用一小批校准数据跑一遍，统计出激活值的实际范围，再设置scale的初始值。别直接用默认的0.0，容易出事。

2. 直通估计器（STE）——让梯度“绕道而行”

伪量化节点解决了模拟问题，但梯度怎么传回去？

你想想看，round操作在数学上是不可导的。它的梯度几乎处处为0，偶尔是无穷大。这要是直接反向传播，模型根本学不动。

STE（Straight-Through Estimator）就是来解决这个问题的。它的思路很简单：前向传播时该量化就量化，反向传播时假装量化不存在，直接把梯度传过去。

用公式表达就是：

前向：y = Q(x)   // 量化操作
反向：∂L/∂x ≈ ∂L/∂y   // 梯度直通，忽略Q的导数

说白了，就是骗过梯度计算。虽然数学上不严谨，但实践证明这招非常好用。

注意：STE不是万能的。如果量化误差太大（比如scale设置不合理），STE传回去的梯度方向可能是错的。我曾经在一个语音模型上试过，STE直接让loss炸了。后来把学习率调小了3倍，才稳住。

STE的实现其实很简单，PyTorch里大概长这样：

class FakeQuantizeSTE(torch.autograd.Function):
    @staticmethod
    def forward(ctx, x, scale, zero_point, q_min, q_max):
        # 量化 + 反量化
        x_int = torch.clamp(torch.round(x / scale) + zero_point, q_min, q_max)
        x_deq = (x_int - zero_point) * scale
        return x_deq

    @staticmethod
    def backward(ctx, grad_output):
        # 直通：梯度直接传回去
        return grad_output, None, None, None, None

嗯，就这么几行。但背后的原理，值得你好好琢磨。

3. QAT vs PTQ——什么时候该用哪个？

很多同学问我：QAT和PTQ到底怎么选？我一般会反问三个问题：

你的模型有多大？ 大模型（比如ResNet-50以上）PTQ通常够用。
精度要求有多高？ 如果要求精度损失在0.5%以内，PTQ可能悬。
你有多少时间？ QAT需要重新训练，时间成本高。

下面这张表是我自己总结的，你可以直接拿去用：

对比维度	PTQ（训练后量化）	QAT（量化感知训练）
是否需要训练	不需要，直接量化	需要，在训练中插入伪量化节点
精度损失	通常较大（1%~5%）	较小（0.1%~1%）
适用场景	大模型、快速部署	小模型、精度敏感场景
时间成本	几分钟到几小时	几天到几周（重新训练）
对校准数据要求	需要少量校准数据	需要完整训练数据
实现复杂度	低，工具链直接支持	高，需要修改训练代码

我的建议：先跑PTQ看看效果。如果精度损失在可接受范围内，就别折腾QAT了。如果不行，再上QAT。别一上来就QAT，时间成本太高。

4. QAT的完整训练流程

QAT不是简单地在模型里插几个FakeQuant节点就完事了。它有一套完整的流程：

预训练浮点模型：先用float32训一个精度达标的模型。
插入伪量化节点：在权重和激活值后面都加上FakeQuant。
微调训练：用较小的学习率（通常是原学习率的1/10）继续训练。
冻结量化参数：训练结束后，固定scale和zero_point。
导出量化模型：转换成真正的int8模型，部署到NPU上。

这里有个坑，我曾经踩过——BN层和FakeQuant的顺序问题。如果BN层在FakeQuant前面，BN的统计量会被量化误差影响，导致训练不稳定。我后来把FakeQuant放在了BN前面，效果好了很多。

避坑指南：QAT微调时，建议冻结BN层的running_mean和running_var，只更新权重。否则BN的统计量会被量化噪声干扰，模型收敛会变慢。

5. 知识结构图：QAT核心逻辑

下面这张图是我画的QAT核心逻辑，你看一眼就能明白整个流程：

6. 实战中的QAT调参技巧

QAT的调参和普通训练不太一样。我总结了几条经验：

学习率要小：QAT微调的学习率通常是原训练学习率的1/10到1/100。太大了容易震荡。
训练轮次不用太多：一般10~20个epoch就够了。QAT不是从头训练，只是让模型适应量化。
先冻结BN再训练：如前面所说，BN的统计量容易被量化噪声干扰。
逐层观察量化误差：我习惯在每层后面打印量化前后的MSE，如果某层误差特别大，就单独调整它的scale。

又一个坑：QAT训练完成后，导出int8模型时，一定要检查scale和zero_point是否被正确冻结。我遇到过导出时scale被重置的情况，结果部署到NPU上精度直接崩了。后来我在导出前加了一个assert，确保量化参数不再变化。

7. 什么时候放弃QAT？

说实话，QAT不是万能的。有些场景下，QAT的效果并不好：

模型已经过拟合：如果浮点模型已经严重过拟合，QAT微调只会让情况更糟。
量化位宽太低：比如量化到int4甚至int2，QAT也很难挽回精度损失。
训练数据不足：QAT需要完整的训练数据分布，如果只有少量校准数据，效果还不如PTQ。

我记得有一次，一个语音唤醒模型量化到int8，PTQ精度掉了3%，QAT只追回了1%。后来我分析发现，是模型本身太小（只有3层卷积），量化误差对每一层的影响都很大。最后我换了方案——用混合精度量化，敏感层保留float16，其他层用int8，效果反而更好。

嗯，这就是QAT的真相。它不是银弹，但在很多场景下，确实是最靠谱的量化方案。下次你遇到量化精度问题，先跑PTQ试试，不行再上QAT，心里就有底了。