3、量化基础概念：定点与浮点、Q格式、缩放因子、零点偏移、量化误差来源

在STM32Cube AI工具链中，无论选择8位（INT8）还是16位（INT16）量化，其底层数学本质都是将连续分布的浮点权重与激活值映射到离散的整数网格上。这一过程看似简单，但若对定点表示、Q格式、缩放因子（Scale）与零点偏移（Zero-Point）缺乏系统理解，一旦模型部署后出现精度骤降，排查将无从下手。本章从数值表示的根本差异出发，逐步拆解量化四要素的数学含义与工程影响，并深入剖析三类主要量化误差的来源与传播路径，为后续章节的精度损失定位奠定理论基础。

上图展示了量化过程的完整链路：浮点张量通过量化映射函数转换为整数表示，其中缩放因子与零点偏移决定了映射的线性关系，而Q格式与定点/浮点选择则约束了数值的表示范围与精度。误差来源分布在映射的各个环节，理解它们之间的相互作用是定位精度损失的第一步。

3.1 定点与浮点：数值表示的底层差异

核心原理

浮点数（FP32/FP16）采用IEEE 754标准，由符号位、指数位和尾数位组成，能够以动态范围表示极大和极小的数值。而定点数则使用固定的小数点位置，通过整数部分和小数部分的位宽分配（即Q格式）来表示数值。在STM32F4/F7/H7系列MCU中，FPU（浮点单元）可以硬件加速浮点运算，但DSP指令集（如SMMLA、USAT）针对整数运算优化，且INT8乘法在Cortex-M内核上通常比FP32快2-4倍，内存占用减少75%。

判断方法

• 查看模型算子：在STM32Cube AI生成的报告（report.html）中，检查每层的数据类型标注。若显示"INT8"或"Q7"，说明该层已量化；若显示"FLOAT"，则可能被保留为浮点计算。
• 分析数值分布：使用Python脚本加载校准数据集，统计每层激活值的min/max/mean/std。若某层数值范围超过[-10, 10]，且标准差小于0.01，则该层量化风险较高。
• 硬件指令对比：在STM32CubeIDE中编译后查看反汇编，确认是否生成了SMMUL（有符号乘法）或VMLA（浮点乘加）指令。若关键层仍使用浮点指令，说明量化未生效。

案例拆解：一个卷积层的定点化过程

假设某卷积层权重范围为[-0.5, 0.5]，激活值范围为[-2.0, 6.0]。若直接使用Q7格式（即-128到127的整数），则权重scale = (0.5 - (-0.5)) / 255 ≈ 0.00392，激活scale = (6.0 - (-2.0)) / 255 ≈ 0.03137。此时权重的最小分辨率约为0.004，而激活的最小分辨率约为0.03。若网络中存在0.001量级的小权重，它们将被量化为0，导致特征提取能力下降。

常见误区

3.2 Q格式与缩放因子：精度与范围的权衡

核心原理

Q格式表示为Qm.n，其中m为整数位宽，n为小数位宽，总位宽为m+n+1（含符号位）。例如Q1.7表示1位整数、7位小数，范围[-2, 2-2⁻⁷]。缩放因子Scale是浮点实数与整数之间的映射步长，计算公式为：

scale = (r_max - r_min) / (q_max - q_min)
zero_point = round(-r_min / scale) + q_min

在STM32Cube AI中，默认使用对称量化（zero_point=0）或非对称量化（zero_point≠0）。对称量化适合权重（分布近似对称），非对称量化适合激活值（ReLU后非负分布）。

操作流程：手动计算Scale与Zero-Point

1. 收集校准数据：使用500-1000张代表性图片，通过模型前向传播记录每层激活值的直方图。
2. 确定范围：取直方图的百分位数（如99.99%）作为r_max和r_min，避免异常值主导。
3. 计算scale：根据目标位宽（8位或16位）代入公式。
4. 计算zero_point：对非对称量化，按公式取整；对称量化直接设为0。
5. 验证：将浮点值反量化回浮点，计算均方误差（MSE），若MSE大于1e-3，需调整范围或改用每通道量化。

案例拆解：不同Scale策略的精度对比

以MobileNetV1的第一层卷积为例，输入为224×224×3的RGB图像。若采用全局scale（所有通道共享），由于RGB通道的数值分布差异（B通道均值约0.5，R通道均值约0.3），全局scale会放大B通道的量化噪声。改用每通道scale后，各通道独立计算scale，精度损失从2.1%降至0.8%。

常见误区

3.3 零点偏移：非对称量化的关键角色

核心原理

零点偏移（Zero-Point）是浮点数值0对应的整数表示。在非对称量化中，zero_point允许将浮点范围[0, 6]映射到整数[-128, 127]，避免整数空间的浪费。其数学作用在于：当浮点值为0时，量化后的整数恰好为zero_point，这保证了卷积运算中padding=0的像素在量化后不会引入额外偏移。

判断方法

• 检查zero_point值：在STM32Cube AI生成的network.c文件中，查找ai_quantization_params结构体，若zero_point不为0，说明使用了非对称量化。
• 验证零点映射：编写测试代码，将浮点0.0输入量化层，检查输出是否为zero_point。若输出偏差超过1个LSB，说明零点偏移计算有误。
• 分析激活分布：若激活值全部为正（如ReLU后），使用非对称量化可减少约50%的量化误差；若分布跨越正负，对称量化更合适。

案例拆解：zero_point错误导致的精度崩溃

某工程师在移植YOLOv5s模型时，发现检测框偏移严重。排查发现，在自定义的C语言推理代码中，反量化公式误写为r = q * scale，忽略了zero_point。由于该模型的zero_point为-128，导致所有反量化值偏移了128×scale≈0.5，使得边界框回归值整体偏移。修正为r = (q - zero_point) * scale后，mAP从0.42恢复至0.71。

常见误区

部分开发者认为zero_point只是简单的偏移，可以忽略。实际上，在BatchNorm融合后的卷积层中，zero_point的微小误差会被后续的乘加运算放大。建议在量化参数导出后，使用Python的numpy库进行反量化验证，确保浮点与整数互转的误差在±1 LSB以内。

3.4 量化误差来源：舍入、截断与精度损失

核心原理

量化误差主要来自三个环节：舍入误差（rounding）是浮点值映射到最近整数时产生的信息丢失，呈均匀分布，最大误差为0.5×scale；截断误差（clipping）是超出量化范围的浮点值被强制截断到边界值，导致分布尾部信息完全丢失；精度损失（precision loss）是scale过大导致相邻浮点值映射到同一整数，无法区分微小差异。

判断方法

1. 绘制误差直方图：对每层输出，计算浮点与反量化值的差值，绘制直方图。若呈均匀分布，说明舍入误差主导；若在边界处出现尖峰，说明截断误差严重。
2. 计算信噪比（SNR）：SNR = 20×log10(信号功率/噪声功率)。若SNR低于30dB，该层量化质量不可接受。
3. 逐层对比：在STM32Cube AI的验证模式下，逐层输出浮点与量化结果，定位误差突增的层。

案例拆解：截断误差导致分类失败

在部署ResNet-50时，发现最后一层全连接输出的logits差异巨大。分析发现，倒数第二层的激活值范围在[-15, 15]，但校准集统计的r_max仅为8.2（因为校准集未包含极端样本）。推理时，实际激活值超过8.2的部分被截断为127，导致特征信息丢失。解决方案：将校准集扩充至包含更多光照变化和遮挡样本，并将百分位数从99.9%调整至99.99%，最终Top-1精度从68.3%恢复至75.1%。

常见误区与总结