量化基础：定点数表示、Q格式、缩放因子与零点、对称/非对称量化、量化误差来源
在深入CMSIS-NN的requantize路径与饱和裁剪调优之前，必须首先建立扎实的量化理论基础。量化本质上是将无限连续的浮点实数域映射到有限离散的整数域的过程，这一过程直接决定了神经网络模型在嵌入式设备上的推理精度与性能。CMSIS-NN库针对ARM Cortex-M系列处理器深度优化，其底层运算全部基于定点整数（int8/int16/int32）完成，因此理解定点数表示、Q格式、缩放因子（Scale）与零点（Zero Point）的数学含义，以及对称/非对称量化的差异，是后续分析requantize溢出风险、饱和裁剪策略和精度损失补偿的前提。本章将系统拆解这些核心概念，并重点剖析量化误差的三大来源及其在CMSIS-NN实际部署中的表现。
2.1 定点数表示与Q格式
核心原理：定点数（Fixed-Point Number）是一种在硬件中高效表示实数的方法，其核心思想是约定小数点固定在某个二进制位位置。与浮点数不同，定点数不动态调整指数，因此运算逻辑简单、功耗低、延迟小，非常适合CMSIS-NN所面向的Cortex-M系列微控制器。Q格式（Qm.n）是描述定点数最常用的记号，其中m表示整数部分位数（含符号位），n表示小数部分位数，总位宽为m+n。例如Q1.7表示1位符号位+7位小数，能表示的范围为[-1, 1-2⁻⁷]，精度为2⁻⁷≈0.0078125。
判断方法与操作流程：在实际工程中，选择Q格式需要权衡动态范围与精度。若激活值范围较大（如[-10, 10]），则需增加整数位m；若需要高精度（如步长0.001），则需增加小数位n。CMSIS-NN内部通常使用Q7（即Q0.7，8位定点）或Q15（Q0.15，16位定点）作为主要运算格式。当从浮点模型转换到定点模型时，需执行以下步骤：
- 统计各层输入/输出的浮点数值范围（min, max）；
- 根据目标位宽（如8位）计算缩放因子S和零点Z；
- 将浮点权重和激活值量化为定点整数；
- 在仿真环境中验证量化后模型的精度损失。
案例拆解：假设某卷积层权重范围为[-0.5, 0.5]，激活值范围为[-6.0, 6.0]。若采用Q7格式（8位定点），权重可选用Q0.7（精度2⁻⁷≈0.0078），而激活值因范围较大，需选用Q3.4（整数位3位，小数位4位，精度0.0625）。此时权重精度远高于激活值，但激活值的量化步长较大，可能导致累积误差。实际部署中，CMSIS-NN会统一使用int8整数配合scale因子，而非直接使用Q格式，但理解Q格式有助于把握精度与范围的本质权衡。
| Q格式 | 总位宽 | 整数位m | 小数位n | 范围 | 精度 |
|---|---|---|---|---|---|
| Q0.7 | 8 | 0 | 7 | [-1, 1-2⁻⁷] | 2⁻⁷≈0.0078 |
| Q1.6 | 8 | 1 | 6 | [-2, 2-2⁻⁶] | 2⁻⁶≈0.0156 |
| Q3.4 | 8 | 3 | 4 | [-8, 8-2⁻⁴] | 2⁻⁴≈0.0625 |
| Q7.8 | 16 | 7 | 8 | [-128, 128-2⁻⁸] | 2⁻⁸≈0.0039 |
常见误区：初学者常误以为Q格式的位数越多越好，但CMSIS-NN的SIMD指令（如SMLAD）针对8位/16位定点数优化，盲目增加位宽会导致运算次数翻倍、内存占用上升，反而降低推理速度。此外，Q格式的定点乘法会产生双倍位宽结果（如Q1.6×Q1.6→Q2.12），必须进行截断或舍入，这一过程正是requantize路径的核心。
2.2 缩放因子与零点
核心原理：现代神经网络量化（如TensorFlow Lite、CMSIS-NN）采用仿射变换（Affine Mapping）将浮点实数r映射到整数q，公式为：r = S × (q - Z)，其中S为缩放因子（Scale），Z为零点（Zero Point）。S是浮点数，表示每个整数步长对应的实数间隔；Z是整数，表示浮点实数0对应的量化整数值。这一映射使得浮点0可以精确表示为整数Z，从而在padding、bias加法等操作中保持数值稳定性。
判断方法与操作流程：确定S和Z的标准流程如下：
- 收集浮点张量的最小值r_min和最大值r_max；
- 根据目标位宽确定量化范围[q_min, q_max]（如int8为[-128, 127]）；
- 计算S = (r_max - r_min) / (q_max - q_min)；
- 计算Z = round(q_min - r_min / S)，并钳位到[q_min, q_max]。
在CMSIS-NN中，S通常以int32_t multiplier和int8_t shift的形式存储，即S ≈ multiplier × 2^shift，这是为了将浮点乘法转化为整数乘法和移位操作，避免浮点运算。
实战场景：以MobileNetV1的第一层卷积为例，输入图像归一化到[0,1]，经量化后S≈0.007843，Z≈-128。若输入像素值为0.5，则量化整数q = round(0.5/0.007843) + (-128) ≈ 64 - 128 = -64。在CMSIS-NN推理时，所有中间结果均以int32累加，最后通过requantize步骤乘以multiplier并右移shift，恢复为int8输出。这一过程中，S和Z的精度直接影响最终分类置信度。
| 量化类型 | 缩放因子S | 零点Z | 适用场景 |
|---|---|---|---|
| 对称量化 | S = r_max / q_max | Z = 0 | 权重（分布近似对称） |
| 非对称量化 | S = (r_max - r_min) / (q_max - q_min) | Z = round(q_min - r_min/S) | 激活值（ReLU后非负分布） |
常见误区：部分工程师在手动实现量化时，直接将浮点权重除以S并四舍五入，却忽略了零点Z的偏移。对于非对称分布（如ReLU后的激活值全为非负），若忽略Z，会导致量化后所有负值被错误映射到0附近，产生严重的信息丢失。CMSIS-NN的arm_convolve_s8函数内部会正确处理Z，但自定义算子时必须显式考虑。
2.3 对称量化与非对称量化
核心原理：对称量化（Symmetric Quantization）强制零点Z=0，即浮点0映射到整数0，映射关系简化为r = S × q。其优点是实现简单，乘法运算无需减去零点，适合权重这类分布近似关于0对称的张量。非对称量化（Asymmetric Quantization）允许Z≠0，能更精细地利用量化范围，适合激活值这类分布偏斜（如ReLU输出全为非负）的张量。CMSIS-NN的int8推理通常对权重采用对称量化，对激活值采用非对称量化，以在精度和硬件效率间取得平衡。
判断方法与操作流程：选择对称还是非对称，需统计张量的实际分布：
- 若min ≈ -max（分布近似对称），优先选择对称量化，减少计算量；
- 若min与-max差异显著（如ReLU后min=0），使用非对称量化，避免量化范围浪费；
- 对于bias，通常使用int32并采用非对称量化，且bias的S等于输入S与权重S的乘积。
案例拆解：假设某层激活值分布为[0, 10]，若采用对称int8量化，则S=10/127≈0.0787，量化步长较大，0到10之间仅有127个离散级别；若采用非对称量化，S=10/255≈0.0392，步长减半，精度提升一倍。但非对称量化在requantize时需要额外执行q - Z操作，增加一次整数减法。在CMSIS-NN中，这一减法被融合到卷积累加循环中，几乎不增加额外开销，因此推荐对激活值使用非对称量化。
| 对比维度 | 对称量化 | 非对称量化 |
|---|---|---|
| 零点Z | 恒为0 | 可为非零整数 |
| 计算复杂度 | 低（无需减零点） | 略高（需减零点） |
| 精度利用率 | 对偏斜分布浪费范围 | 充分利用全部量化范围 |
| CMSIS-NN典型应用 | 权重、某些激活 | 激活值、bias |
常见误区：不要对所有层统一使用对称量化。例如，若某层激活值全为正且范围较窄，对称量化会浪费一半的量化范围（负半轴完全未使用），导致有效精度减半。CMSIS-NN的量化校准工具（如Vela编译器）会自动分析每层分布并选择最优量化参数，但手动部署时需注意这一差异。
2.4 量化误差来源与影响
核心原理：量化误差是浮点模型与定点模型输出差异的根本原因，主要包含三类：舍入误差（Rounding Error）、截断误差（Clipping Error）和精度损失（Precision Loss）。舍入误差源于将浮点数映射到最近整数时的四舍五入，其最大值为0.5×S；截断误差源于超出量化范围的值被强制钳位到边界，当输入分布存在长尾时尤为严重；精度损失则指量化步长S过大导致相邻浮点值映射到同一整数，无法区分细微差异。
判断方法与操作流程：在CMSIS-NN调优中，定位误差来源需结合具体层输出：
- 逐层对比浮点模型与定点模型的中间激活值，计算均方误差（MSE）；
- 若误差集中在某一层，检查该层输入范围是否超出量化范围（截断误差）；
- 若误差均匀分布，则多为舍入误差累积，可尝试增加位宽或调整S；
- 若最终分类置信度下降但top-1不变，可能为精度损失，可接受。
案例拆解：在某语音唤醒词检测模型中，第一层MFCC特征提取后数值范围达[-200, 200]，而后续层激活值范围仅[-1, 1]。若统一使用int8量化，第一层S=400/255≈1.57，步长过大导致特征细节丢失，唤醒率从95%降至82%。分析后确认是截断误差与精度损失叠加所致。解决方案：对第一层单独使用int16量化（S=400/65535≈0.0061），后续层保持int8，最终唤醒率恢复至93.5%。这一案例说明，量化误差来源需逐层分析，不能一刀切。
| 误差类型 | 产生原因 | 典型表现 | 缓解策略 |
|---|---|---|---|
| 舍入误差 | 四舍五入到最近整数 | 输出轻微抖动，MSE均匀 | 使用随机舍入或增加位宽 |
| 截断误差 | 超出量化范围被钳位 | 极端值被压平，输出饱和 | 扩大量化范围或使用非对称量化 |
| 精度损失 | 步长S过大 | 小数值差异无法区分 | 减小S，或对敏感层使用更高位宽 |
经验总结：在CMSIS-NN的requantize路径中，饱和裁剪（Saturating Cast）正是为了处理截断误差而设计的——当int32累加结果超出int8范围时，将其钳位到[-128, 127]。但过度依赖饱和裁剪会掩盖量化参数设置不当的问题。建议在调优时先确保S和Z设置合理，再考虑裁剪策略。此外，CMSIS-NN提供的arm_nn_requantize函数支持可配置的舍入模式（如向上舍入、向下舍入），合理选择舍入模式可减少舍入误差的累积。
风险提示：量化误差在深层网络中会逐层累积，尤其是残差网络（ResNet）中的跳跃连接，会将早期层的误差直接传递到后期层。在CMSIS-NN中，若残差相加操作未正确对齐S和Z，误差可能被放大数倍。务必在每层输出处设置调试断点，验证量化参数的一致性。