3、QAT核心概念：训练时量化与后训练量化的区别、伪量化节点、直通估计器（STE）原理

在模型部署到TFLite Micro这类资源受限的微控制器平台时，量化是压缩模型体积、提升推理速度的关键手段。然而，直接对训练好的浮点模型进行量化（即后训练量化，PTQ），往往会在8位整数精度下产生不可接受的精度损失，尤其是对于包含BatchNorm、残差连接或对激活值分布敏感的模型。量化感知训练（QAT）通过在训练过程中模拟量化误差，让模型权重和激活值主动适应低精度表示，从而在导出TFLite Micro时获得接近浮点模型的精度。本章将深入剖析QAT的三个核心概念：训练时量化与后训练量化的本质区别、伪量化节点（FakeQuant）的工作机制，以及支撑QAT反向传播的直通估计器（STE）原理。

上图从宏观视角对比了PTQ与QAT的流程差异，并点出了QAT的两大核心机制——伪量化节点与STE。接下来，我们将逐一拆解这些概念，并深入探讨它们如何在TFLite Micro的部署链路中发挥作用。

3.1 训练时量化与后训练量化的本质区别

核心原理：精度与成本的权衡

后训练量化（PTQ）是在模型训练完成后，利用少量校准数据统计激活值的分布范围，然后直接将浮点权重和激活映射到INT8整数空间。其优势在于无需重新训练模型，部署速度快，但缺点在于当模型对数值扰动敏感时（如MobileNetV2的深度可分离卷积、带有残差连接的ResNet），量化误差会被逐层放大，导致精度显著下降。训练时量化（QAT）则是在训练过程中就引入量化模拟，让模型在更新权重时“感知”到量化带来的噪声，从而学习到更鲁棒的参数分布。QAT的代价是需要额外的训练时间和计算资源，但换来的往往是接近浮点模型的精度。

判断方法：何时选择PTQ，何时选择QAT？

在TFLite Micro场景下，由于模型通常较小（<1MB），且运行在Cortex-M等低功耗处理器上，对精度损失极为敏感，因此QAT几乎是必选项。例如，一个用于关键词唤醒的DS-CNN模型，若采用PTQ，准确率可能从95%跌至88%，而QAT可以将其保持在94%以上。

案例拆解：智能音箱唤醒词模型的量化选型

某智能家居项目需要将一个参数量为180K的DS-CNN模型部署到Cortex-M4F芯片上。初始方案采用PTQ，使用500张校准音频的MFCC特征进行量化。部署后实测发现，唤醒率从浮点模型的97.2%下降至89.5%，误唤醒率上升了3倍。分析发现，模型第一层卷积的激活值分布存在长尾效应，PTQ的MinMax校准方法对异常值敏感，导致量化尺度过大。随后改用QAT策略，在训练时插入伪量化节点，并额外训练了10个epoch（学习率调整为原来的1/10）。最终部署到TFLite Micro后，唤醒率恢复至96.8%，模型体积从720KB压缩至180KB，推理时间从12ms降至3.2ms。复盘经验：对于激活值分布不均匀的小模型，PTQ的校准误差会被放大，QAT的“先模拟、后适应”策略能有效缓解该问题。

3.2 伪量化节点（FakeQuant）的工作机制

核心原理：前向模拟，反向直通

伪量化节点是QAT的核心操作符，它在计算图中模拟量化的全过程，但输出仍然是浮点数。其前向计算分为两步：量化（将浮点值映射到离散的整数网格）和反量化（将整数映射回浮点值）。公式如下：

量化: q = round(r / scale) + zero_point
反量化: r_hat = (q - zero_point) * scale
其中 scale = (r_max - r_min) / (q_max - q_min)

伪量化节点的输出r_hat与输入r之间存在量化误差，但这个误差是确定性的、可微分的（通过STE）。在训练过程中，模型权重和激活值经过伪量化节点后，其梯度会通过STE反向传播，从而更新权重，使其对量化误差不敏感。

操作流程：在TensorFlow中插入伪量化节点

在TensorFlow 2.x中，使用tf.quantization.quantize_and_dequantize_v2或tf.quantization.fake_quant_with_min_max_vars可以手动插入伪量化节点。但在实际工程中，更推荐使用tfmot（TensorFlow Model Optimization Toolkit）的API：

import tensorflow_model_optimization as tfmot

# 定义基础模型
def build_model():
    model = tf.keras.Sequential([
        tf.keras.layers.Conv2D(16, 3, activation='relu', input_shape=(32,32,3)),
        tf.keras.layers.MaxPooling2D(),
        tf.keras.layers.Flatten(),
        tf.keras.layers.Dense(10)
    ])
    return model

# 应用QAT
quantize_model = tfmot.quantization.keras.quantize_model
qat_model = quantize_model(build_model())

# 编译并训练
qat_model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
qat_model.fit(train_images, train_labels, epochs=5)

在训练完成后，TFLite转换器会自动识别这些伪量化节点，并将其转换为真正的INT8量化参数（scale和zero_point），从而生成TFLite Micro可用的模型文件。

实战场景：伪量化节点的位置选择

伪量化节点并非随意插入，其位置直接影响量化效果。通常，需要在以下位置插入：

• 权重：每个卷积层和全连接层的权重在参与运算前必须量化。
• 激活值：每一层的输出（即下一层的输入）需要量化，以模拟INT8中间结果的累加过程。
• 残差连接：在Add或Concat操作之前，需要分别量化两个分支的输出，确保它们在同一量化尺度下相加。

一个常见的误区是只量化权重而不量化激活值，这会导致模型在推理时激活值仍以FP32计算，无法利用TFLite Micro的INT8加速指令。

3.3 直通估计器（STE）原理

核心原理：解决量化函数的梯度为零问题

量化函数round()的导数在几乎所有地方都为0（除了整数点处不可导），这导致梯度无法从损失函数传播到权重。直通估计器（STE）的核心思想是：在前向传播时使用量化函数，在反向传播时将量化函数的梯度近似为1，即让梯度“直通”过去。数学表达为：

前向: y = round(x)
反向: ∂L/∂x = ∂L/∂y * 1  (即梯度直接复制)

这种近似虽然不精确，但在实践中被证明非常有效。它允许模型在训练过程中“感知”到量化误差，并调整权重以最小化损失。

判断方法：STE的变体与选择

STE并非唯一的选择，但它是工程中最常用的。其他变体包括：

• 软量化：使用tanh或sigmoid函数平滑逼近量化阶梯，梯度更平滑但计算复杂。
• 噪声注入：在训练时向权重添加均匀噪声模拟量化误差，但精度通常不如STE。
• 分段线性STE：在量化边界处设置梯度衰减，减少梯度失配。

对于TFLite Micro场景，标准STE已足够。但需要注意，当量化位数较低（如4-bit或2-bit）时，标准STE可能导致训练不稳定，此时可考虑使用“直通+裁剪”的变体，即对超出量化范围的值进行梯度裁剪。

案例拆解：STE在训练中的实际表现

以一个简单的MNIST分类任务为例，使用LeNet-5模型，分别采用PTQ和QAT（STE）进行量化。训练配置如下：

从结果可以看出，QAT的量化后精度比PTQ高出1.1个百分点。在训练过程中，我们观察到前几个epoch的损失函数存在轻微震荡，这是STE梯度近似导致的正常现象。随着训练进行，模型逐渐适应量化噪声，损失函数趋于平稳。复盘经验：QAT训练时，建议使用比浮点训练更小的学习率（通常为1/10至1/100），并在训练后期冻结量化范围（即停止更新min/max），以稳定收敛。

3.4 常见误区与总结复盘

误区一：QAT等同于在训练后微调

QAT不是简单的“训练后微调”，而是在训练过程中持续模拟量化。微调通常只调整最后几层，而QAT会调整所有层，且伪量化节点会参与每一轮的前向和反向计算。如果仅在训练结束后对模型进行量化微调，效果会大打折扣。

误区二：伪量化节点越多越好

虽然伪量化节点能模拟量化误差，但过多的节点会增加训练计算量，并可能导致梯度信号被过度“扭曲”。通常，只需在权重和激活值的边界处插入节点，无需在每一层内部重复插入。TFLite转换器会自动优化冗余节点。

误区三：忽略zero_point的影响

在对称量化中，zero_point固定为0；但在非对称量化中，zero_point需要训练或校准。TFLite Micro默认使用非对称量化（针对激活值），因此zero_point的准确性直接影响推理精度。在QAT训练中，应确保zero_point被正确初始化和更新。

总结复盘：QAT在TFLite Micro部署中的关键要点

1. 优先选择QAT：对于微控制器场景，QAT是保证精度的首选方案。
2. 合理配置伪量化节点：权重、激活、残差连接处必须插入，其他位置按需添加。
3. 使用STE并调整学习率：标准STE足够，但需降低学习率并监控训练稳定性。
4. 验证量化范围：训练结束后，检查scale和zero_point是否符合预期，避免推理时溢出。
5. 端到端验证：在导出TFLite Micro后，使用真实硬件或模拟器进行精度和延迟测试，确保量化效果符合预期。