课程导入：TinyML与量化概述
TinyML是机器学习与嵌入式系统交叉领域中最具工程落地价值的方向之一，其核心挑战在于：如何在仅有数百KB内存、数十MHz主频的MCU上，运行一个经过训练的神经网络模型。答案的关键词只有一个——量化（Quantization）。量化将神经网络中的浮点权重与激活值映射为低比特整数（如INT8），从而将模型体积压缩至原来的1/4，推理速度提升2~4倍，同时将内存占用降低到足以在MCU上运行的水平。然而，量化并非简单的数值截断，它涉及精度损失的控制、校准数据集的选择、算子融合策略以及硬件指令集的适配。本课程聚焦于QAT（Quantization-Aware Training，量化感知训练）后的INT8导出与精度回归，帮助你在模型部署到TinyML设备之前，建立一套可量化、可验证、可回溯的工程流程。
上图展示了TinyML模型从训练到部署的完整链路。可以看到，QAT位于FP32训练与INT8导出之间，是精度保障的关键闸门。本课程将围绕这一环节展开，帮助你掌握从QAT模型到INT8 TFLite/ONNX模型导出的完整流程，并建立一套严谨的精度回归验证体系。课程内容覆盖理论原理、工具链操作、实战案例与常见陷阱，确保你学完即可在真实项目中落地。
1.1 核心原理：为什么需要量化感知训练？
量化感知训练（QAT）的核心思想是在训练过程中模拟量化误差。与训练后量化（PTQ，Post-Training Quantization）不同，QAT在模型训练阶段就插入伪量化节点（FakeQuant），这些节点在前向传播时模拟INT8的舍入与截断行为，但在反向传播时使用直通估计器（STE，Straight-Through Estimator）保持梯度可导。这样，模型在训练过程中就能自适应地调整权重分布，使其对量化误差更加鲁棒。
QAT之所以必要，是因为神经网络中的权重和激活值通常呈现近似正态分布，但存在少量离群值。直接使用PTQ时，这些离群值会显著扩大量化范围，导致有效量化精度下降。QAT通过训练过程让模型"学会"在量化约束下工作，从而在INT8部署时保持更高的精度。
1.2 判断方法：何时选择QAT而非PTQ？
在实际项目中，选择QAT还是PTQ需要根据模型类型、精度要求和部署约束综合判断。以下表格给出了决策参考：
| 判断维度 | PTQ（训练后量化） | QAT（量化感知训练） |
|---|---|---|
| 精度损失 | 通常损失1~3% | 通常损失0.5%以内 |
| 所需数据 | 少量校准数据（100~500张） | 完整训练数据集（或代表性子集） |
| 训练资源 | 无需训练，仅推理 | 需要GPU训练，时间增加20~50% |
| 适用场景 | 模型较大、精度冗余充足 | 模型紧凑、精度敏感、MCU部署 |
| 工具链支持 | TensorFlow Lite、ONNX Runtime | PyTorch（torch.ao.quantization）、TF Model Optimization |
对于TinyML场景，由于模型本身参数量小（通常小于1MB），精度冗余有限，强烈建议使用QAT。此外，如果目标设备是ARM Cortex-M系列，还需要考虑CMSIS-NN库对INT8算子的支持情况，这会影响量化方案的选择（如per-tensor vs per-channel）。
1.3 案例拆解：语音关键词识别模型的量化决策
我们以一个实际的语音关键词识别（KWS）项目为例，说明QAT选择的决策过程。项目背景如下：
- 模型结构：DS-CNN（Depthwise Separable CNN），参数量约40KB，输入为40维MFCC特征，时间帧数为32。
- 目标设备：STM32F746（Cortex-M7，216MHz，320KB RAM）。
- 精度要求：关键词"Hey Edison"的召回率不低于95%。
- 初始现象：FP32模型在测试集上召回率为97.2%，但使用PTQ（TensorFlow Lite默认配置）后，召回率骤降至88.5%，超出容忍范围。
分析判断过程：我们首先检查了权重分布，发现第一层卷积的权重存在少量离群值（最大值约为均值的12倍），这导致量化范围过大，有效比特数不足。进一步分析激活值分布，发现ReLU6后的激活值集中在[0, 3]区间，但偶尔出现6.0的饱和值，同样影响了量化精度。
实际操作步骤：
- 切换到QAT流程，在PyTorch中使用
torch.ao.quantization的QATQuantizer，在训练前插入FakeQuant节点。 - 使用原始训练数据集的10%（约2000个样本）进行3个epoch的微调，学习率设为初始学习率的1/10。
- 微调完成后，使用
torch.ao.quantization.convert将QAT模型转换为INT8 TFLite模型。 - 在STM32F746上部署，使用CMSIS-NN的INT8算子进行推理。
结果对比：QAT后的INT8模型召回率恢复至96.1%，仅比FP32低1.1个百分点，满足95%的指标要求。模型体积从160KB（FP32）压缩至40KB（INT8），推理时间从120ms降至35ms，内存占用从180KB降至60KB。
风险与代价：QAT微调增加了约2小时的GPU训练时间，且需要维护训练代码与量化配置的一致性。此外，QAT模型在导出时需要注意算子融合（如Conv+BN+ReLU融合），否则可能导致推理速度不升反降。
复盘经验：对于TinyML模型，QAT不是可选项而是必选项。关键在于校准数据集的选择——必须覆盖真实部署环境中的噪声分布，否则量化范围会偏移。同时，建议在QAT训练时使用余弦退火学习率，帮助模型更好地收敛到量化友好的局部最优解。
1.4 常见误区与总结复盘
在TinyML量化实践中，初学者常陷入以下误区：