📚 课程目录第4章模型量化基础

4、模型量化基础：量化原理、INT8/INT16/浮点对比、量化误差来源与内存收益分析

在Edge AI与TinyML场景中，模型体积与内存占用往往比浮点精度更致命。一颗Cortex-M4内核的MCU可能只有192KB SRAM和1MB Flash，而一个MobileNetV2的float32权重就高达13.4MB，显然无法直接部署。模型量化（Quantization）正是解决这一矛盾的核心手段：通过将连续浮点数值映射到离散的低位整数空间，在可接受的精度损失下，大幅压缩模型体积并降低运行时内存带宽需求。本章将从量化数学原理出发，系统对比INT8、INT16与FP32的工程取舍，剖析量化误差的三大来源，并给出可量化的内存收益计算模型。

上图从三个维度勾勒了量化的核心框架：左侧是数值映射的数学基础，中间是不同精度的对比维度，右侧是内存收益的量化链路。接下来我们将逐一深入每个环节，并结合实际部署场景给出可操作的建议。

4.1 量化核心原理：从浮点到定点的映射

量化的本质是寻找一个从浮点实数域到有限整数域的映射函数。设原始浮点张量值为 r，量化后的整数值为 q，则仿射量化（Affine Quantization）定义为：

r = S × (q - Z)

其中 S（Scale）是缩放因子，为浮点数；Z（Zero Point）是零点偏移，为整数。反量化时通过该公式恢复近似浮点值。对称量化（Symmetric）令 Z=0，适用于权重分布近似关于原点对称的场景；非对称量化（Asymmetric）则允许 Z≠0，更适合ReLU这类输出全非负的激活值。

实际工程中，S 的确定依赖校准数据集（Calibration Dataset）上的统计信息。常见方法包括：

MinMax：直接取张量最小值和最大值作为映射边界，实现简单但易受离群点影响。
Percentile：截断一定百分比的极端值（如99.99%），牺牲少量动态范围换取更紧凑的量化步长。
KL散度（Entropy）：通过最小化量化前后概率分布的KL散度来选择最优截断阈值，是TensorRT等框架的默认方案。
逐通道（Per-channel）vs 逐张量（Per-tensor）：逐通道为每个卷积核单独计算Scale，精度更高但计算开销略增；逐张量则共享同一组参数，更适合硬件加速。

经验提醒：对于MCU上的TinyML部署，建议优先尝试逐张量对称量化（权重）+ 非对称量化（激活）。若精度损失超过2%，再切换为逐通道量化。不要一开始就追求复杂方案，先跑通基线再逐步优化。

4.2 INT8 / INT16 / FP32 对比：精度、范围与硬件代价

选择何种位宽并非越低位越好，需要综合考量数值动态范围、硬件乘法器支持、内存带宽和能耗。下表给出了三种精度的关键参数对比：

属性	FP32	INT16	INT8
存储占用	4 bytes	2 bytes	1 byte
动态范围	~3.4e38	[-32768, 32767]	[-128, 127]
精度粒度	约7位有效十进制	整数级，无小数	整数级，粒度更粗
典型硬件支持	通用MCU/CPU	部分DSP、Cortex-M4 FPU	ARM NEON、CMSIS-NN、专用NPU
乘法器能耗（相对）	1.0x	约0.3x	约0.1x
适用场景	原型验证、高精度需求	中间过渡、对精度敏感	边缘部署、内存受限

从表中可见，INT8在存储和能耗上具有压倒性优势，但其动态范围仅256级。对于权重分布较均匀的模型（如MobileNet、ResNet），INT8通常能保持95%以上的准确率；但对于含有极端离群值的层（如某些检测头），直接量化可能导致梯度爆炸或精度骤降。此时INT16可作为折中方案——它比FP32节省一半内存，同时比INT8保留更大的数值空间。

4.3 量化误差来源：四大元凶与应对策略

量化误差并非单一来源，而是多种因素叠加的结果。理解这些来源是进行精度调优的前提。

舍入误差（Rounding Error）：将浮点值映射到最近整数时产生的误差，最大为 0.5 × S。当 S 较大时（即动态范围宽但量化级数少），舍入误差显著增大。
截断误差（Clipping Error）：当浮点值超出量化范围时被强制截断到边界值。MinMax方法不会产生截断，但Percentile或KL方法会主动截断部分值，需权衡截断比例与舍入误差。
累积误差（Accumulation Error）：量化误差在多层网络中逐层传播放大。尤其对于深度超过50层的网络，微小误差可能被放大为显著偏差。
敏感层离群值（Outliers in Sensitive Layers）：某些层的权重或激活分布存在少量极大/极小值，若这些层对输出影响较大，量化后精度损失会异常明显。

风险提示：不要盲目相信“INT8一定只损失1%”的经验值。对于目标检测、语义分割等密集预测任务，量化后可能出现边界框偏移或小目标漏检。务必在部署前用完整测试集评估，而非仅看训练集损失。

针对上述误差，常用缓解手段包括：

使用混合精度量化：对敏感层保留INT16或FP32，其余层用INT8。
实施量化感知训练（QAT）：在训练过程中模拟量化噪声，让模型自适应。
采用偏置校正（Bias Correction）：调整量化后的偏置项以补偿均值偏移。
进行逐层误差分析：通过对比每层输出的余弦相似度，定位高误差层并单独处理。

4.4 内存收益分析：从理论压缩到实际部署

内存收益不能仅看权重文件大小，还需考虑激活值（Activation）和临时缓冲区（Scratch Buffer）。以典型TinyML模型——1D卷积音频分类模型为例：

模型结构: Conv1D(64, 3) → ReLU → MaxPool → Conv1D(32, 3) → ReLU → GAP → Dense(10)
输入: 16000 samples (1秒音频, 16kHz)
参数量: 约 12,000 个

若使用FP32，权重占用 12000 × 4 = 48KB；激活值在第一个卷积层输出为 16000 × 64 × 4 = 4MB（假设无池化），这远超多数MCU的SRAM容量。而采用INT8后，权重降至12KB，激活值降至1MB，配合池化层可进一步压缩至约256KB，从而满足部署条件。

实际内存收益计算需考虑以下公式：

Flash节省 = (FP32权重字节数 - 量化权重字节数) + 额外存储的Scale/Z因子开销
SRAM节省 = (FP32激活字节数 - 量化激活字节数) - 反量化临时缓冲区开销

值得注意的是，INT8推理通常需要额外的反量化操作（将INT8结果转回FP32进行累加），这会引入临时缓冲区。若硬件不支持INT8累加器，则SRAM节省可能被部分抵消。因此，在选型时需查阅目标MCU的DSP指令集是否支持SIMD整数乘加。

  实战案例：某工业振动监测设备采用STM32F746（Cortex-M7, 320KB SRAM），原FP32模型权重为1.2MB，激活峰值约800KB，无法直接部署。通过INT8量化（逐通道对称）+ 激活非对称量化，权重降至300KB，激活峰值降至200KB，成功部署。精度从原始F1=0.97降至0.94，但通过增加一个BN层和微调训练，最终恢复至0.96。整个过程中，关键步骤是：① 使用1000条校准数据统计激活分布；② 对第一层和最后一层保留FP32；③ 在MCU上实测推理速度，发现INT8版本比FP32快2.3倍。

4.5 常见误区与总结复盘

在量化实践中，工程师常陷入以下误区：

误区一：量化后必须重新训练。实际上，对于结构简单、分布均匀的模型，后训练量化（PTQ）即可满足要求；只有复杂模型才需要QAT。
误区二：INT8一定比INT16好。当硬件不支持高效INT8乘加时，INT16可能反而更快且更准。
误区三：忽略校准数据集的重要性。校准集应覆盖真实部署场景的输入分布，否则Scale计算偏差会导致精度骤降。
误区四：只关注权重压缩，忽视激活内存。对于某些模型，激活内存可能比权重更大，需结合池化、步长等结构优化。