3、模型量化原理：量化基本概念与误差来源

在mA级功耗预算约束下，模型量化是降低推理能耗最直接、最有效的技术路径之一。量化的本质是将神经网络中高精度（通常是FP32）的权重和激活值，映射到低比特宽度的整数或低精度浮点表示，从而减少内存带宽占用、降低计算单元功耗，并提升推理吞吐。然而，量化并非无损操作，理解其基本概念与误差来源，是设计高效量化方案的前提。本章将系统梳理定点/浮点表示、位宽选择、缩放因子与零点等核心概念，并深入剖析量化误差的产生机制与影响。

上图展示了量化从浮点到定点的映射关系、核心参数定义以及误差传导路径。下面我们将逐一展开每个概念的技术细节。

3.1 定点与浮点：数值表示的底层差异

神经网络在训练阶段通常使用IEEE 754标准的单精度浮点数（FP32），其由1位符号位、8位指数位和23位尾数位组成，能够表示约\(10^{-38}\)到\(10^{38}\)的动态范围。浮点数的优势在于其指数部分可以自适应地调整数值尺度，使得极小或极大的数值都能保持相对精度。然而，这种灵活性在硬件实现上代价高昂：浮点运算单元需要复杂的指数对齐和尾数归一化逻辑，功耗和面积远大于整数运算单元。

定点数则采用固定的整数格式（如INT8、INT16）配合一个全局的缩放因子（Scale）和零点（Zero Point）来近似实数。定点表示的核心思想是：用整数运算替代浮点运算，用线性映射覆盖目标数值范围。在mA级功耗约束的MCU或NPU上，INT8乘累加运算（MAC）的功耗通常仅为FP32的1/10至1/20，且内存带宽需求降低4倍，这使得定点量化成为边缘部署的首选方案。

3.2 位宽选择：精度与功耗的权衡

位宽直接决定了量化分辨率与硬件效率。常见位宽包括INT8、INT4、INT2以及混合精度组合。位宽每减少1比特，内存占用和计算功耗约降低50%，但量化误差会指数级增长。下表对比了不同位宽的关键特性：

位宽选择的判断流程应遵循：先评估模型对量化敏感度，再匹配硬件能力。具体操作时，可先对每层权重和激活做INT8量化并观察精度变化，若精度损失超过2%，则将该层回退至FP16或INT16；若整体精度损失可控，可尝试INT4量化并配合量化感知训练（QAT）恢复精度。

3.3 缩放因子与零点：量化映射的数学核心

量化映射的数学表达式为：\(q = \text{round}(r / s) + z\)，其中\(r\)为原始浮点值，\(q\)为量化后的整数，\(s\)为缩放因子，\(z\)为零点。反量化为\(r \approx (q - z) \times s\)。缩放因子\(s\)决定了量化步长，其计算公式为：

s = (r_max - r_min) / (q_max - q_min)
z = q_min - round(r_min / s)

其中\(r_{\text{max}}\)和\(r_{\text{min}}\)是待量化张量的实际数值范围（或通过校准统计得到），\(q_{\text{max}}\)和\(q_{\text{min}}\)是量化后的整数范围（如INT8为-128和127）。零点\(z\)的作用是确保浮点中的0值在量化后仍能精确映射为整数，这对于处理padding或ReLU输出中的0值至关重要。

3.4 量化误差来源与影响分析

量化误差主要来源于三个方面：舍入误差、截断误差和累积误差。舍入误差是不可避免的，因为连续浮点值映射到离散整数时，必然产生最多±0.5个量化步长的偏差。截断误差则发生在数值超出量化范围时——例如权重中存在极端离群值，若按MinMax方式确定范围，会使得正常权重被压缩到极小的量化步长，导致有效精度严重下降。

累积误差是量化误差在网络中逐层传播的结果。假设每层引入1%的相对误差，经过20层卷积后，误差可能放大至20%以上。这种误差在深层网络中尤为显著，且对激活值的敏感度远高于权重。激活值的动态范围通常比权重更大（如可达数十倍），且其分布随输入数据变化，因此激活量化往往比权重量化更具挑战性。

3.5 实战案例：INT8量化在语音唤醒词模型上的应用

我们以一款基于DS-CNN的语音唤醒词模型为例，该模型包含5层卷积和2层全连接，参数量约180KB，运行在Cortex-M4F内核（无硬件浮点单元）上。初始FP32模型在测试集上准确率为94.2%，但推理耗时高达320ms，功耗约12mA@3.3V，无法满足电池供电设备的要求。

量化方案设计：采用非对称INT8量化，权重使用MinMax校准，激活使用Percentile（99.9%）校准以排除离群值。量化后模型大小降至45KB，推理耗时降至85ms，功耗降至3.8mA。但准确率下降至91.5%，损失2.7%。

误差分析与调优：通过逐层分析发现，第一层卷积的激活值分布存在少量极端峰值（由背景噪声触发），导致量化范围过大。解决方案是将第一层回退至INT16量化（硬件支持），其余层保持INT8。调整后准确率恢复至93.6%，推理耗时仅增加8ms，功耗4.1mA，满足设计指标。

3.6 常见误区与总结复盘

• 误区一：认为MinMax校准总是最优。实际上，当数据存在离群值时，MinMax会严重压缩有效量化范围，应改用Percentile或KL散度校准。
• 误区二：忽略零点的作用。在对称量化中强制\(z=0\)虽然简化计算，但对偏置分布的数据（如ReLU输出）会浪费一半的量化范围。
• 误区三：只量化权重不量化激活。激活值的内存占用和计算功耗同样显著，且其动态范围更大，不量化激活无法实现真正的低功耗。
• 误区四：量化后不进行微调。对于小模型（<1MB），直接量化通常可接受；但对于大模型或任务敏感场景，必须配合量化感知训练（QAT）或至少几轮后训练微调。

总结而言，量化原理的核心在于理解数值表示、参数映射和误差传导三者的关系。在实际工程中，应遵循“先校准、再量化、后验证”的流程，结合硬件特性选择位宽与对称性，并通过逐层误差分析定位敏感层，最终实现精度与功耗的最优平衡。