STM32Cube.AI模型迁移与量化剪枝优化 - 第4节
量化误差来源分析：那些“看不见”的精度损失
量化，说白了就是把模型里那些高精度的浮点数（FP32），硬塞进低精度的整数（INT8）里。这个过程一定会丢信息，就像你把一张高清照片压缩成JPEG，细节肯定有损失。但问题是——哪些环节最容易丢精度？我踩过的坑告诉你，主要有三个来源。
1. 数值截断误差
浮点数能表示的范围非常大，INT8只有256个离散值。当权重或激活值的动态范围超出量化区间时，超出部分会被直接截断。嗯，这里要注意：截断不是四舍五入，是直接扔掉。
关键指标：截断误差 = 原始值 - 量化后的反量化值。这个差值在极端值附近最大。
我在项目中遇到过，一个卷积层的权重分布有长尾，最大值是均值的20倍。用MinMax校准后，大部分权重被压缩到几个量化步长里，模型直接崩了。后来改用MSE校准才稳住。
2. 舍入误差
量化步长（scale）是固定的，落在两个量化等级之间的值，必须舍入到最近的整数点。这个误差是随机的，但累积起来很可观。
- Round-to-nearest：最常用，误差期望为0，但方差存在
- Stochastic rounding：随机舍入，QAT里常用，能保留梯度信息
- Floor/Ceil：向下或向上取整，误差有偏，一般不推荐
我的习惯：PTQ用Round-to-nearest，QAT用Stochastic rounding。前者稳定，后者在训练中能“绕过”量化死区。
3. 梯度量化误差（仅QAT涉及）
QAT在训练中模拟量化，但梯度本身也是浮点。反向传播时，量化操作的梯度要么被截断（STE），要么被近似。这个近似误差会导致训练不稳定。
为什么会这样？因为量化函数不可导，STE强行把梯度传过去，相当于告诉网络“量化没影响”。网络学出来的权重，在量化边界上会特别敏感。
校准数据集的作用：给量化“定标尺”
校准数据集，说白了就是用来确定量化参数的——scale（缩放因子）和zero_point（零点偏移）。没有它，量化就是盲人摸象。
校准数据集的核心任务
- 收集激活值分布：跑一遍推理，记录每层的输出范围
- 确定量化边界：根据分布选择最优的scale，让截断误差+舍入误差最小
- 验证量化效果：对比量化前后的输出差异，决定是否调整策略
| 校准方法 | 原理 | 适用场景 | 我踩过的坑 |
|---|---|---|---|
| MinMax | 取激活值的最小/最大值作为边界 | 分布均匀、无异常值 | 有离群点时精度暴跌 |
| MSE | 最小化量化前后的均方误差 | 分布有长尾或偏态 | 计算量大，但效果最稳 |
| KL散度 | 最小化量化前后分布的KL散度 | 分类任务、softmax输出 | 对回归任务不友好 |
| Percentile | 取99.9%分位数作为边界 | 有少量离群点 | 分位数选错直接翻车 |
警告：校准数据集必须来自真实部署场景的分布。我曾经用ImageNet校准集去量化一个工业缺陷检测模型，结果精度掉了8%。因为校准集的亮度、噪声分布和实际产线完全不同。
QAT vs PTQ：两种量化路线的硬核对比
训练后量化（PTQ）和量化感知训练（QAT），是当前最主流的两种方案。它们不是替代关系，而是不同阶段的武器。
PTQ：快，但有上限
PTQ不需要重新训练，拿校准集跑一遍就能出量化模型。STM32Cube.AI里默认走的就是这条路。
- 优点：零训练成本，几分钟搞定
- 缺点：精度损失不可控，小模型（<1M参数）尤其明显
- 适用：大模型、冗余度高、对精度不敏感的场景
我记得有一次，一个MobileNetV2量化后精度只掉了0.3%，但换成TinyML的1D卷积网络，直接掉了12%。PTQ对模型结构很敏感。
QAT：慢，但能逼近浮点精度
QAT在训练过程中插入伪量化节点（FakeQuant），让网络学会适应量化噪声。STM32Cube.AI的QAT功能需要配合STM32CubeMX的模型优化器使用。
- 优点：精度损失通常<1%，甚至能反超浮点（正则化效应）
- 缺点：需要重新训练，训练时间增加1.5~3倍
- 适用：小模型、边缘设备、精度要求高的场景
实战建议：先用PTQ快速验证可行性，如果精度达标，直接部署。如果不达标，再上QAT。不要一上来就QAT，浪费时间。
核心差异对比表
| 维度 | PTQ | QAT |
|---|---|---|
| 是否需要训练 | 否 | 是 |
| 精度损失 | 0.5%~5% | <1% |
| 部署时间 | 分钟级 | 小时~天级 |
| 硬件适配 | 通用 | 需硬件模拟支持 |
| STM32Cube.AI支持 | 原生支持 | 需外部训练框架+导入 |
| 我的选择 | 原型验证、快速迭代 | 量产部署、精度敏感 |
知识结构图：量化误差与校准流程
下面这张图，把量化误差的来源、校准数据集的作用、以及PTQ/QAT的决策路径串起来了。你想想看，从浮点模型到INT8部署，每一步都有坑。
个人经验：在STM32Cube.AI里做PTQ时，我习惯先用100张校准图跑MinMax，看精度损失。如果损失>2%，换成MSE校准，通常能追回1~1.5%。如果还不行，再考虑QAT。这个流程帮我省了不少时间。
量化不是玄学，误差来源是确定的，校准方法是可选的，PTQ和QAT是互补的。你只要搞清楚这三个问题——误差从哪来、校准集怎么选、精度不够怎么办——就能在STM32上把量化玩明白。