4、量化误差来源：舍入误差、截断误差、溢出、激活分布偏移
TinyML 模型在从 FP32 浮点精度转换为 INT8 定点精度的过程中，数值表示的精度和范围都会发生根本性变化。PTQ（训练后量化）虽然无需重新训练，但量化本身引入的误差会直接影响模型在边缘设备上的最终推理精度。理解这四类误差——舍入误差、截断误差、溢出和激活分布偏移——的本质、产生机制与叠加效应，是进行量化功能验证、制定误差补偿策略的前提。本章将逐一剖析这四类误差的数学原理、工程表现、验证方法及应对措施，并通过一个完整的案例展示如何在实际项目中定位并缓解量化误差。
上图展示了从 FP32 模型到 INT8 模型转换过程中四类误差的产生位置及其传导路径。舍入误差和截断误差发生在数值映射阶段，溢出发生在计算过程中，而激活分布偏移则是前三者通过多层网络结构逐层累积后的宏观表现。下面分别深入剖析。
4.1 舍入误差：量化步长的固有代价
4.1.1 核心原理
舍入误差（Rounding Error）源于将连续浮点值映射到离散整数网格时，无法精确表示所有实数。在均匀量化中，量化步长 Δ = (max - min) / (2^b - 1)，其中 b 为位宽（如 INT8 时 b=8）。任何浮点值 x 经量化再反量化后，得到 x' = round((x - zero_point) / Δ) * Δ + zero_point，误差 e = x' - x 的绝对值最大为 Δ/2。对于均匀分布的数据，舍入误差的期望值为 0，方差为 Δ²/12。虽然单个值的误差很小，但在深层网络中，每层卷积或全连接操作都会引入新的舍入误差，这些误差会通过矩阵乘法进行线性组合，最终在输出层产生可观测的精度损失。
4.1.2 判断方法与验证手段
验证舍入误差的影响，最直接的方法是进行逐层输出对比：分别运行 FP32 模型和 INT8 模型，提取每一层的中间激活张量，计算两者之间的余弦相似度或均方误差（MSE）。若某层的余弦相似度低于 0.99 或 MSE 显著高于其他层，则该层是舍入误差的敏感点。此外，还可以通过敏感性分析（Layer-wise Sensitivity Analysis）来定位：每次只量化一层，其余层保持 FP32，观察精度下降幅度，从而找出对舍入误差最敏感的网络层。
4.1.3 案例拆解：图像分类模型的舍入误差定位
假设我们有一个 MobileNetV2 图像分类模型，在 ImageNet 验证集上 FP32 精度为 71.2%。PTQ 量化后精度降至 68.5%，下降 2.7 个百分点。通过逐层敏感性分析发现，第 14 个 Bottleneck 块的输出层在量化后余弦相似度仅为 0.982，明显低于其他层的 0.995 以上。进一步检查该层的激活值分布，发现其范围较宽（-8.2 到 11.7），且分布呈现长尾特征。由于均匀量化对长尾分布不友好，大部分量化步长被分配给了极少出现的极端值，导致主体数据的舍入误差偏大。解决方案是改用 per-channel 量化（对权重按输出通道分别计算 scale 和 zero_point），使每个通道的激活范围更紧凑，舍入误差降低约 40%。调整后模型精度恢复到 70.3%，损失控制在 0.9% 以内。
4.1.4 常见误区与复盘
- 误区一：认为舍入误差总是对称分布，可以相互抵消。实际上，当激活值分布偏斜（如 ReLU 后的非负分布）时，舍入误差的均值不为零，会产生系统性偏差。
- 误区二：只关注权重量化误差，忽略激活量化误差。在大多数 CNN 中，激活量化误差对最终精度的影响远大于权重误差，因为激活值在每层都会被重新量化。
- 复盘经验：在验证报告中，应记录每层激活值的 min/max、均值、标准差以及量化后的余弦相似度，形成量化误差热力图，便于快速定位问题层。
4.2 截断误差：范围裁剪带来的信息丢失
4.2.1 核心原理
截断误差（Clipping/Truncation Error）发生在量化器将超出量化范围 [min, max] 的浮点值强制映射到边界值（即 INT8 的 -128 或 127）时。这种饱和操作会丢失超出范围的数值的全部信息。截断误差的大小取决于两个因素：一是数据分布中超出范围的样本比例，二是超出部分的数值大小。在 PTQ 中，min/max 通常通过校准数据集（Calibration Dataset）统计得到。如果校准集不能充分代表真实推理时的数据分布，或者校准集本身包含异常值，就会导致量化范围设置不当，产生严重的截断误差。
4.2.2 判断方法与操作流程
- 统计超出率：在验证集上运行 FP32 模型，统计每一层激活值超出量化范围的样本比例。若某层超出率超过 1%，则截断误差可能显著。
- 绘制分布直方图：使用校准集统计激活值的直方图，观察是否存在长尾或离群点。若直方图在边界处出现明显的“堆积”现象（大量值被截断到边界），说明截断误差严重。
- 尝试不同校准方法：对比 MinMax、Percentile（如 99.99%）、KL 散度（熵校准）等不同校准策略下的量化精度，选择截断误差最小的方案。
4.2.3 实战场景：目标检测模型的截断误差处理
一个 SSD-MobileNet 目标检测模型在量化后出现大量漏检，尤其是小目标。分析发现，第 5 层特征图的激活值分布存在明显的长尾，最大值达到 23.5，但 99.9% 的值集中在 [-3, 5] 区间。使用 MinMax 校准时，量化范围设为 [-23.5, 23.5]，导致主体数据的量化步长 Δ = 0.184，舍入误差较大；而使用 Percentile(99.9%) 校准时，范围缩小到 [-5.2, 6.1]，虽然截断了 0.1% 的极端值，但主体数据的 Δ 降至 0.044，舍入误差降低 76%。最终模型 mAP 从 21.4% 提升至 24.8%，接近 FP32 的 25.6%。此案例说明，适当的截断可以换取更低的舍入误差，关键在于找到最优的截断点。
4.2.4 常见误区与总结
- 误区：认为校准集越大越好。实际上，校准集应覆盖典型推理场景，而非追求数量。包含过多异常样本会导致量化范围过大，损害主体精度。
- 误区：忽略 BatchNorm 层的融合。在 PTQ 中，BatchNorm 参数应提前融合到卷积层中，否则其缩放操作会改变激活分布，导致截断误差增大。
- 总结：截断误差的验证应结合数据分布可视化，使用直方图工具（如 TensorBoard 的 activation 分布图）辅助判断。
4.3 溢出：定点计算中的数值越界
4.3.1 核心原理
溢出（Overflow）发生在 INT8 定点计算过程中，当中间结果超出 INT8 可表示的范围 [-128, 127] 时。在卷积或全连接层中，乘累加操作（Multiply-Accumulate, MAC）的中间结果通常是 INT32 格式（32 位累加器），这本身不会溢出。但后续的反量化（Dequantization）和再量化（Requantization）步骤中，如果 scale 参数设置不当，将 INT32 结果缩放到 INT8 时可能产生溢出。此外，某些硬件加速器（如部分 MCU 的 DSP 单元）可能使用 INT16 累加器，此时中间结果更容易溢出。溢出的表现有两种：饱和溢出（值被钳位到最大值或最小值）和回绕溢出（值按模运算回绕，如 127 + 1 = -128），后者对精度破坏更大。
4.3.2 判断方法与检测手段
| 检测方法 | 操作步骤 | 判定标准 |
|---|---|---|
| 中间结果监控 | 在量化推理引擎中插入调试钩子，打印每层累加器的 min/max | 若 min < -2^31 或 max > 2^31 - 1（INT32），则存在溢出风险 |
| 数值回放 | 用 FP32 模拟 INT8 计算过程，对比定点与浮点的中间结果 | 若差异超过 2 个量化步长，则可能发生溢出 |
| 硬件仿真 | 使用 QEMU 或硬件模拟器运行量化模型，检查异常输出 | 输出出现 NaN 或极端值（如 127/-128 连续出现） |
4.3.3 案例拆解：语音唤醒词模型的溢出故障
一个用于关键词唤醒的 DS-CNN 模型，在移植到 Cortex-M4 平台后，推理结果完全错误。通过调试发现，模型第一层卷积的权重范围较大（-1.8 到 2.3），激活值范围也较大（-4.5 到 6.2）。在计算时，INT32 累加器的最大理论值为 127 * 127 * 3 * 3 * 64 ≈ 9.3e8，未超出 INT32 范围。但问题出在再量化步骤：代码中使用的是 ((int32_t)acc * scale) >> shift 的方式，其中 scale 为浮点数。当 scale 较大时，乘法结果可能超出 INT32 范围。例如，acc = 8e8，scale = 0.5，则 8e8 * 0.5 = 4e8，仍在范围内；但若 scale = 2.5，则 8e8 * 2.5 = 2e9，超出 INT32 上限，发生回绕溢出。解决方案是改用 乘加分离的定点实现：先对 acc 进行移位缩小，再乘以 scale 的定点近似值，确保中间结果始终在 INT32 范围内。
int64_t 作为累加器类型（如果硬件支持），或者将 scale 拆分为 multiplier 和 shift 两个整数，通过 (acc * multiplier) >> shift 的方式避免浮点乘法溢出。同时，在验证阶段应使用随机输入对每一层进行压力测试，确保极端输入下不产生溢出。
4.3.4 常见误区与复盘
- 误区：认为 INT32 累加器永远不会溢出。实际上，当输入通道数较多（如 512 或 1024）且权重和激活值都接近上限时，累加和可能超过 2^31。
- 误区：忽略偏置（Bias）的量化。偏置通常以 INT32 格式存储，其值可能较大，若未正确缩放，会直接导致输出溢出。
- 复盘：在验证报告中，应包含每层累加器的理论最大值计算，并与 INT32 上限对比，形成溢出风险清单。
4.4 激活分布偏移：误差的层间累积与放大
4.4.1 核心原理
激活分布偏移（Activation Distribution Shift）是指量化后的激活值分布与原始 FP32 分布之间的系统性差异，这种差异会随着网络层数的加深而逐渐累积和放大。其根源在于：每一层的舍入误差和截断误差都会改变输出激活的统计特性（均值、方差、偏度），这些改变后的激活值又作为下一层的输入，导致下一层的量化误差进一步增大。在极端情况下，这种偏移会导致网络内部的数据分布发生“漂移”，使得后续层的量化范围完全失配，最终引发精度崩塌。激活分布偏移在 BatchNorm 层存在时尤为明显，因为 BatchNorm 会归一化激活分布，而量化误差会破坏这种归一化效果。
4.4.2 判断方法与量化指标
验证激活分布偏移，需要对比 FP32 和 INT8 模型在每一层的激活分布统计量。具体指标包括：
- 均值偏移：Δμ = |μ_int8 - μ_fp32|，若 Δμ 超过该层激活标准差的 10%，则偏移显著。
- 方差变化：Δσ² = |σ²_int8 - σ²_fp32| / σ²_fp32，超过 15% 则需关注。
- KL 散度：计算每层激活分布的 KL 散度，若某层 KL 散度突然增大，则该层是偏移的“放大器”。
4.4.3 实战场景：语义分割模型的逐层偏移分析
一个用于道路分割的 DeepLabV3 模型，量化后 mIoU 从 68.3% 降至 52.1%，降幅达 16 个百分点。逐层分析发现，前 10 层的激活分布偏移较小（KL 散度 < 0.01），但从第 11 层（ASPP 模块的第一分支）开始，KL 散度骤增至 0.08，且后续层的偏移持续增大。进一步检查发现，ASPP 模块使用了不同膨胀率的空洞卷积，其激活值范围差异极大（从 -1.2 到 18.7），而统一量化范围导致大部分分支的量化步长过大。解决方案是对 ASPP 的每个分支使用独立的量化参数（即 per-branch 量化），并在校准集中增加不同光照条件的道路场景图像，使校准分布更贴近真实推理分布。调整后 mIoU 恢复至 64.7%，偏移 KL 散度降至 0.02 以下。
4.4.4 常见误区与总结复盘
- 误区：只关注最终输出精度，不检查中间层分布。当最终精度下降时，往往已经发生了严重的分布偏移，此时定位困难。
- 误区：认为增加校准集大小可以解决所有偏移问题。实际上，校准集应覆盖多样化的输入模式，而非简单增加数量。
- 总结：激活分布偏移是前三类误差的“放大器”，验证时应采用逐层监控策略，并建立偏移预警阈值（如 KL 散度 > 0.05 即触发告警）。
4.5 四类误差的综合对比与验证策略
| 误差类型 | 产生阶段 | 典型表现 | 验证方法 | 缓解手段 |
|---|---|---|---|---|
| 舍入误差 | 浮点→定点映射 | 精度小幅下降，逐层累积 | 逐层余弦相似度、MSE | per-channel 量化、增大位宽 |
| 截断误差 | 范围裁剪 | 边界值堆积、长尾丢失 | 直方图分析、超出率统计 | Percentile 校准、KL 散度校准 |
| 溢出 | 累加/再量化 | 输出 NaN、极端值、完全错误 | 中间结果监控、压力测试 | INT64 累加、定点 scale 拆分 |
| 激活分布偏移 | 层间传播 | 深层精度崩塌、分布漂移 | KL 散度、均值/方差对比 | 分支独立量化、校准集优化 |
在实际的 TinyML PTQ 验证流程中，建议按照以下顺序排查：先检查溢出（因为溢出会导致完全错误），再分析截断误差（通过直方图），然后评估舍入误差（通过逐层相似度），最后监控分布偏移（通过 KL 散度）。这种从“硬错误”到“软误差”的排查顺序，可以最高效地定位问题根源。
□ 每层累加器理论最大值 < INT32 上限？
□ 激活值超出率 < 1%（基于验证集）？
□ 每层余弦相似度 > 0.99？
□ 每层 KL 散度 < 0.05？
□ 校准集覆盖至少 3 种典型输入场景？
□ 极端输入（全零、全满、随机噪声）下无 NaN/Inf 输出？
通过系统性地理解这四类误差的产生机制、验证方法和缓解策略，工程师可以在 PTQ 量化后快速定位精度损失的原因，并采取针对性的优化措施。在实际项目中，这四类误差往往同时存在并相互影响，因此需要综合运用多种验证手段，建立完整的量化误差监控体系，才能确保 TinyML 模型在资源受限的嵌入式设备上保持可靠的功能表现。