📚 课程目录第3章模型量化基础

3、模型量化基础：量化原理（定点与浮点）、对称/非对称量化、量化参数（scale、zero-point）、量化精度损失来源

在TinyML（微型机器学习）部署链路中，模型量化是连接“训练完成的浮点模型”与“资源受限的MCU/边缘NPU”之间的关键桥梁。绝大多数微控制器不具备高效的浮点运算单元（FPU），或为了降低功耗而刻意关闭FPU，因此必须将FP32（32位浮点）权重和激活值转换为INT8（8位整数）甚至INT4/INT1格式。本章将深入剖析量化的数学本质、两种主流量化策略（对称/非对称）、核心量化参数（scale与zero-point）的推导逻辑，以及量化过程中精度损失的四大来源。理解这些基础原理，是后续评估QAT（量化感知训练）恢复效果的前提——只有知道精度“丢在哪里”，才能判断QAT是否真正“补了回来”。

3.1 定点与浮点：为什么TinyML必须转向整数运算

核心原理

浮点数（Float）采用科学计数法表示实数，FP32由1位符号位、8位指数位和23位尾数位组成，能够表示极大动态范围（约10⁻⁴⁵到10³⁸）并保持较高精度。然而，浮点运算需要专门的FPU硬件支持，在Cortex-M0/M3这类低功耗MCU上，软件模拟浮点运算会消耗数百个CPU周期。定点数（Fixed-point）则是将数值固定在特定的小数点位置上，用整数寄存器直接存储和运算。例如，Q7格式表示1位符号+7位小数，Q15表示1位符号+15位小数。INT8量化本质上是将浮点张量映射到8位整数域，使得卷积、全连接等核心算子可以调用硬件整数乘累加（MAC）指令，速度提升5~10倍，内存占用减少4倍。

  关键认知：量化不是简单的“精度换速度”的零和博弈。对于神经网络而言，权重和激活值通常集中在有限范围内（如[-1, 1]或[0, 6]），浮点表示的冗余精度对最终分类结果贡献甚微。合理的量化策略可以在保持任务精度损失<1%的前提下，实现数量级的性能提升。

判断方法：何时必须量化

硬件约束：目标芯片无FPU或FPU频率受限（如STM32F103 @72MHz无FPU）。
内存瓶颈：FP32模型超过MCU Flash/RAM容量（如300KB权重超过256KB Flash）。
功耗要求：电池供电设备需将峰值电流降至最低，整数运算功耗显著低于浮点。
延迟预算：实时推理要求单帧处理时间<50ms，浮点运算无法满足。

小型场景化说明

以关键词唤醒（KWS）模型为例，一个包含5个卷积层、约200KB FP32权重的模型，在Cortex-M4上浮点推理需要约120ms。量化到INT8后，权重降至50KB，推理时间缩短至18ms，精度从97.2%降至96.5%——仅损失0.7个百分点，但换来了6.7倍的速度提升和4倍的内存节省。这就是量化的核心价值。

常见误区

误区：认为所有层都必须使用相同量化格式。实际上，第一层和最后一层对精度影响较大，可保留FP16或使用更高比特量化；中间层可放心使用INT8。此外，不要忽略偏置（bias）的量化——通常偏置保持FP32或INT32，否则累加误差会迅速放大。

3.2 对称量化与非对称量化：两种映射策略

核心原理

对称量化（Symmetric）将浮点范围[-r_max, r_max]映射到整数范围[-q_max, q_max]，zero-point固定为0。其数学表达式为：q = round(r / scale)，其中scale = r_max / q_max。对称量化的优势在于推理时无需额外减去zero-point，计算效率更高，适合权重分布近似关于0对称的情况（如经过BatchNorm的卷积权重）。非对称量化（Asymmetric）则允许浮点范围[min, max]映射到整数范围[q_min, q_max]，zero-point不为0，表达式为：q = round(r / scale) + zero_point。非对称量化能更精细地利用整数表示范围，特别适合激活值分布偏向正区间（如ReLU输出[0, 6]）的情况。

对比维度	对称量化	非对称量化
zero-point	恒为0	任意整数（通常非0）
计算复杂度	低（无需零点校正）	高（需额外减法）
适用场景	权重、分布对称的激活	ReLU后激活、偏置
动态范围利用率	可能浪费（若分布偏斜）	高（完全覆盖实际范围）
硬件友好度	极高（多数NPU原生支持）	中等（需额外指令）

操作流程：选择量化策略

统计各层权重和激活值的实际数值分布（使用校准数据集前向推理收集）。
计算分布的偏度（skewness）：若|偏度|<0.3，优先选择对称量化；否则考虑非对称。
检查目标硬件IP：部分NPU（如ARM Ethos-U55）仅支持对称量化，此时需通过裁剪（clipping）将分布拉向对称。
对激活值，若使用ReLU且最小值接近0，非对称量化通常能获得更低精度损失。

案例拆解：MobileNetV1在Cortex-M7上的量化策略选择

背景与约束：某智能门锁项目需部署MobileNetV1（1.0, 224x224）进行人脸检测，MCU为STM32H743（Cortex-M7 @480MHz，带双精度FPU），Flash 2MB，RAM 1MB。初始FP32模型大小约16.8MB，远超Flash容量。

初始现象：直接使用PTQ（训练后量化）对称量化，Top-1精度从89.2%降至82.5%，损失6.7个百分点，不可接受。

分析过程：逐层检查发现，第3、5、7层的激活值分布严重偏斜（最小值0.02，最大值11.8，均值0.45），对称量化将大量数值压缩到接近0的整数区间，分辨率严重不足。而权重分布相对对称。

实际操作：对权重层采用对称量化（scale=0.023），对激活层采用非对称量化（scale=0.047, zero_point=12）。重新量化后，精度回升至87.9%。进一步结合QAT微调（仅训练3个epoch），最终精度达到88.7%，满足项目需求。

结果对比：对称量化损失6.7% → 混合策略损失1.3% → 混合+QAT损失0.5%。

风险与代价：非对称量化在Cortex-M7上需额外执行减法指令，推理时间增加约8%，但仍在实时预算内。

经验总结：不要对所有权重和激活使用统一量化策略。权重优先对称，激活优先非对称，这是TinyML工程中的黄金法则。

3.3 量化参数：scale与zero-point的精确计算

核心原理

scale（缩放因子）定义了浮点数值与整数步长之间的比例关系，即每个整数单位代表的浮点大小。计算公式为：scale = (r_max - r_min) / (q_max - q_min)。zero-point（零点）是浮点值0映射到整数域的位置，用于保证浮点0在量化后能被精确表示（避免0的偏移导致ReLU等操作产生误差）。其计算为：zero_point = q_min - round(r_min / scale)，并需裁剪到[q_min, q_max]范围内。反量化公式为：r = (q - zero_point) × scale。

// 非对称量化C语言实现示例
float r_min = -0.5f, r_max = 6.0f;
int q_min = -128, q_max = 127;
float scale = (r_max - r_min) / (q_max - q_min); // 0.05098
int zero_point = q_min - (int)roundf(r_min / scale); // -128 - (-10) = -118
// 量化
int quantize(float r) {
    return (int)roundf(r / scale) + zero_point;
}
// 反量化
float dequantize(int q) {
    return (q - zero_point) * scale;
}

判断方法：scale与zero-point的精度影响

scale过小：导致整数溢出，需要饱和截断，引入较大误差。
scale过大：分辨率不足，相邻整数间浮点间隔过大，细节丢失。
zero-point计算错误：导致浮点0无法精确表示，ReLU后激活值出现系统性偏移。
校准数据集选择：校准集应覆盖典型输入分布，避免使用训练集（过拟合）或单一图片（偏差大）。

实战场景：校准数据集的影响

某语音命令识别模型使用1000张室内场景图片校准，部署后发现户外识别精度骤降。分析发现，室内图片亮度均值120，而户外均值180，导致激活值分布整体偏移，原scale无法覆盖新范围。解决方案：使用包含室内外、白天黑夜的500张混合图片重新校准，精度恢复。

风险提示：校准数据集规模建议500~2000张，过少导致统计不稳定，过多增加校准时间。同时，校准集必须与部署场景分布一致，否则量化参数形同虚设。

3.4 量化精度损失来源：从数学到工程的四大元凶

核心原理

量化精度损失并非单一因素导致，而是多种误差叠加的结果。理解这些来源，是评估QAT恢复效果的基础——QAT本质上是在训练阶段模拟这些误差，让模型参数适应量化噪声。

损失来源	产生机制	典型影响程度	缓解手段
舍入误差	round()取整丢失尾数	低（0.1%~0.5%）	随机舍入、QAT
截断/饱和误差	超出量化范围被钳位	高（1%~5%）	动态范围裁剪、感知裁剪
动态范围失配	分布不均匀导致分辨率浪费	中（0.5%~2%）	非对称量化、逐通道量化
梯度噪声	反向传播时量化不可导	训练时影响收敛	直通估计器（STE）

操作流程：定位精度损失来源

逐层对比量化前后激活值的余弦相似度，找出相似度<0.99的层。
对可疑层，分别测试仅量化权重、仅量化激活、两者都量化三种情况，定位主要误差源。
检查该层权重/激活的数值分布直方图，确认是否存在长尾或极端离群值。
若为截断误差，尝试调整裁剪阈值（如使用百分位数99.9%代替最大值）。
若为舍入误差，在QAT中引入随机舍入模拟。

案例拆解：YOLOv5s目标检测模型的量化排障

背景：将YOLOv5s部署到瑞萨RA6M4（Cortex-M33 @200MHz），FP32 mAP@0.5为0.742。PTQ后mAP降至0.631，损失11.1个百分点。

初始现象：检测框偏移严重，小目标漏检率上升。

分析过程：逐层分析发现，第17层（下采样层）的激活值存在极端离群值（最大12.8，但99%数据在[-2, 4]内）。对称量化时，scale被离群值拉大至0.1，导致正常数据分辨率仅为0.1，小目标特征被淹没。

实际操作：① 对第17层采用百分位99.9%裁剪，将scale缩小至0.052；② 对检测头（最后3层）保留FP16计算；③ 使用QAT微调10个epoch，模拟量化噪声。最终mAP恢复至0.718，损失仅2.4个百分点。

结果对比：PTQ默认策略损失11.1% → 裁剪+混合精度损失4.3% → 裁剪+混合精度+QAT损失2.4%。

风险与代价：QAT增加了训练时间约3小时，但部署后推理速度提升4.2倍，内存占用降低3.8倍。

  复盘要点：精度损失往往不是均匀分布的，而是集中在少数“敏感层”。通过逐层诊断定位敏感层，针对性地调整量化策略，比全局统一优化更高效。QAT的核心价值在于让模型在训练阶段“看见”量化噪声，从而自动调整权重分布，减少对极端值的依赖。

常见误区与总结

误区1：认为量化精度损失完全由位宽决定。实际上，8位量化如果策略得当，可以接近FP32精度；4位量化则需更精细的逐层调优。
误区2：忽略偏置的量化。偏置通常需要更高精度（INT32），否则累加误差会指数级放大。
误区3：校准集与部署场景不一致。量化参数是数据相关的，换场景必须重新校准。
误区4：QAT可以解决所有量化问题。QAT主要缓解舍入和梯度噪声，对截断误差的改善有限，仍需配合裁剪策略。