3、模型量化基础：理解模型量化的定义、为什么需要量化（内存、速度、功耗）、浮点（FP32）与定点（INT8）的区别、量化对模型精度的影响
在嵌入式与边缘计算场景中，深度学习模型的部署始终面临一个核心矛盾：模型在服务器端以高精度浮点运算取得了优异的准确率，但当我们试图将其移植到 Arduino、ESP32、STM32 等资源受限的微控制器（MCU）上时，动辄数十兆字节的权重文件、数百兆次浮点运算的推理过程，会让板端设备直接陷入内存溢出或算力耗尽的窘境。模型量化（Model Quantization）正是为解决这一矛盾而生的关键技术。它通过将神经网络中连续的浮点参数映射为离散的低比特整数，在尽可能保留模型精度的前提下，显著压缩模型体积、加速推理并降低功耗。本章将系统讲解量化的数学本质、工程动因、FP32 与 INT8 的差异，以及量化对精度影响的内在机理。
3.1 模型量化的定义与数学本质
模型量化是一种将神经网络中的权重（Weights）和激活值（Activations）从高精度浮点数（如 FP32）映射到低精度整数（如 INT8、INT16）或低比特浮点数（如 FP16）的技术。其核心思想是：神经网络在训练和推理过程中，参数的数值分布通常集中在一个有限区间内，且相邻数值之间的微小差异对最终输出的影响有限。因此，我们可以用一组离散的整数来近似表示连续的浮点值，从而大幅降低存储和计算开销。
从数学角度看，量化过程定义了一个仿射映射关系。假设原始浮点值为 r，量化后的整数值为 q，则它们之间的关系可以表示为：
r = S × (q - Z)其中，S（Scale，缩放因子）是一个浮点数，表示每个量化步长对应的浮点范围；Z（Zero Point，零点）是一个整数，表示浮点值 0 对应的量化整数值。反量化（Dequantization）则是上述过程的逆运算，用于在需要时将整数还原为浮点数（例如在混合精度计算中）。
根据量化参数 S 和 Z 的确定方式，量化可分为两类：
- 对称量化（Symmetric Quantization）：将浮点范围对称地映射到整数范围，即 Z = 0。此时映射关系简化为 r = S × q。对称量化实现简单，适合权重分布近似关于 0 对称的情况（如经过 BatchNorm 后的卷积层权重）。
- 非对称量化（Asymmetric Quantization）：允许浮点范围在正负方向上不对称，Z 不为 0。非对称量化能更精细地利用整数表示范围，适合激活值分布偏向某一侧的情况（如 ReLU 后的输出均为非负值）。
3.2 为什么需要量化：内存、速度与功耗的三重驱动
在 Arduino 等 MCU 平台上部署深度学习模型，量化不是可选项，而是必选项。这背后是内存容量、计算速度和功耗三方面的硬性约束。
3.2.1 内存瓶颈：从“装不下”到“装得下”
以经典的 MobileNetV1 为例，其 FP32 权重文件约为 16MB。而常见的 Arduino Nano 33 BLE Sense 板载 Flash 为 1MB，RAM 为 256KB。这意味着，如果不进行量化，模型根本无法烧录到板载 Flash 中。即使勉强放入外部存储，推理时频繁读取外部 Flash 也会带来巨大的延迟。将模型量化为 INT8 后，体积缩小至 4MB，再配合深度可分离卷积的结构优化，才有可能将模型压缩至 500KB 以内，从而适配 MCU 的存储限制。
3.2.2 速度瓶颈：整数运算的硬件优势
绝大多数 MCU（如 Cortex-M 系列）的 CPU 核心支持单周期整数乘法指令，但浮点运算则需要依赖 FPU（浮点运算单元）或软件库模拟。以 Cortex-M4F 为例，其 FPU 执行一次 FP32 乘法需要 3 个时钟周期，而整数乘法只需 1 个周期。更重要的是，许多 MCU 支持 SIMD（单指令多数据）指令集，可以一次处理 4 个 INT8 数据，而 FP32 则无法享受这种并行加速。因此，INT8 量化后的推理速度通常可以提升 2 到 4 倍。
3.2.3 功耗瓶颈：边缘设备的生命线
对于电池供电的物联网设备，功耗直接决定了产品的续航能力。内存访问是嵌入式系统中功耗的主要来源之一。根据典型数据，访问一次外部 DRAM 的能耗比访问内部 SRAM 高约 100 倍。量化后，模型体积缩小，更多数据可以驻留在内部 SRAM 中，减少了对外部存储的访问次数。此外，整数运算单元在 CMOS 电路中的动态功耗远低于浮点运算单元。综合来看，INT8 量化可以将推理功耗降低 50% 以上。
| 对比维度 | FP32 模型 | INT8 量化模型 | 量化收益 |
|---|---|---|---|
| 权重存储 | 4 字节/参数 | 1 字节/参数 | 减少 75% |
| 模型体积（MobileNetV1） | 约 16 MB | 约 4 MB | 缩小 4 倍 |
| 单次乘法延迟（Cortex-M4F） | 3 时钟周期 | 1 时钟周期 | 提升 3 倍 |
| SIMD 并行度 | 不支持 | 4 路并行 | 吞吐量提升 4 倍 |
| 典型推理功耗 | 150 mW | 45 mW | 降低 70% |
3.3 浮点（FP32）与定点（INT8）的深层差异
FP32 与 INT8 的差异不仅体现在存储字节数上，更体现在数值表示能力、动态范围和计算特性上。
数值表示能力：FP32 使用 1 位符号位、8 位指数位和 23 位尾数位，能够表示约 10 的 -38 次方到 10 的 38 次方的数值范围，且具有约 7 位有效十进制数字的精度。INT8 则只能表示 -128 到 127 的整数（或 0 到 255 的无符号整数），没有小数部分，也没有指数扩展范围的能力。
动态范围：FP32 的动态范围极大，可以同时处理数值差异巨大的数据（如 0.001 和 10000）。而 INT8 的表示范围非常有限，如果直接对原始浮点值取整，会引入巨大的截断误差。因此，量化必须依赖 S 和 Z 参数将浮点分布“压缩”到整数范围内。
计算特性：FP32 运算遵循 IEEE 754 标准，存在舍入误差累积的问题，但精度较高。INT8 运算则是精确的整数运算，不存在舍入误差，但前提是量化参数选择得当。此外，INT8 乘法累加（MAC）运算通常需要累加器为 INT32 以避免溢出，这在实际部署中需要额外处理。
3.4 量化对模型精度的影响：机理与应对策略
量化会引入两类误差：舍入误差和截断误差。舍入误差源于浮点值映射到整数时的取整操作，截断误差则源于超出量化范围的数据被强制钳位到边界值。这些误差在网络的每一层都会产生，并可能逐层累积，最终导致输出层的预测偏差。
然而，神经网络对量化误差并非完全敏感。研究表明，模型的冗余性（参数冗余、特征冗余）为量化提供了容错空间。只要量化误差控制在一定的信噪比范围内，模型的精度下降可以控制在 1% 以内。以下因素会影响量化精度：
- 权重分布特性：若权重分布接近均匀或高斯分布，量化误差较小；若存在明显的离群值（Outliers），则量化误差会显著增大。
- 激活值分布：激活值经过 ReLU 后通常为非负值，适合非对称量化；但若激活值动态范围过大，则量化精度下降。
- 网络深度与宽度：深层网络对量化误差更敏感，因为误差逐层传递；宽网络（通道数多）通常具有更好的容错性。
- 任务类型：分类任务对量化误差的容忍度较高，而目标检测、语义分割等像素级任务对量化更敏感。
为了缓解量化对精度的影响，业界发展出了多种策略：
- 训练后量化（Post-Training Quantization, PTQ）：使用少量校准数据统计激活值分布，确定量化参数。PTQ 无需重新训练，但精度损失相对较大。
- 量化感知训练（Quantization-Aware Training, QAT）：在训练过程中模拟量化误差，让模型自适应地调整权重以减小量化损失。QAT 精度更高，但需要重新训练模型。
- 混合精度量化：对敏感层（如第一层和最后一层）保留 FP16 或 FP32，对非敏感层使用 INT8，在精度和效率之间取得平衡。
- 逐通道量化（Per-Channel Quantization）：对卷积核的每个输出通道分别计算 S 和 Z，相比逐张量量化（Per-Tensor）能显著降低误差。
3.5 案例拆解：从 FP32 到 INT8 的量化实战
为了更直观地理解量化过程，我们以一个简单的 2 层全连接网络为例，演示在 Arduino 上部署前的量化步骤。
背景与约束：某智能传感器项目需要识别 10 种环境声音，使用 TensorFlow 训练了一个包含 2 个全连接层（128 个隐藏单元）的 MLP 模型。模型在 PC 上 FP32 精度为 92.5%。目标硬件为 Arduino Nano 33 BLE Sense（Cortex-M4F，1MB Flash，256KB RAM）。初始 FP32 模型大小为 68KB，可以放入 Flash，但推理时 RAM 占用高达 45KB，且单次推理耗时 210ms，功耗较高。项目要求推理时间小于 100ms，RAM 占用小于 30KB。
量化操作流程：
- 数据校准：从训练集中随机选取 500 个样本作为校准集，输入模型，记录每一层激活值的数值分布。
- 确定量化参数：对第一层权重（形状为 [128, 10]），统计其最小值和最大值，采用对称量化，计算 S = max(|min|, |max|) / 127。对激活值（ReLU 后非负），采用非对称量化，计算 S 和 Z。
- 权重转换：将 FP32 权重乘以 1/S 后四舍五入取整，得到 INT8 权重。
- 推理时反量化：在 MCU 上，INT8 权重与 INT8 激活值相乘后累加，结果存入 INT32 累加器，最后乘以 S 的乘积并加上偏置。
结果对比：
| 指标 | FP32 原始模型 | INT8 量化模型 | 变化 |
|---|---|---|---|
| 模型体积 | 68 KB | 17 KB | ↓ 75% |
| RAM 占用 | 45 KB | 12 KB | ↓ 73% |
| 单次推理耗时 | 210 ms | 58 ms | ↓ 72% |
| 推理功耗（估算） | 约 120 mW | 约 40 mW | ↓ 67% |
| 准确率 | 92.5% | 91.8% | ↓ 0.7% |
复盘与经验：本次量化精度损失仅 0.7%，完全在可接受范围内。关键成功因素在于：模型本身较小，层数少，误差累积有限；激活值分布相对集中，非对称量化发挥了作用。若遇到精度下降超过 2% 的情况，建议优先尝试逐通道量化或 QAT。此外，在 MCU 上实现 INT8 推理时，需要特别注意 INT32 累加器的溢出问题——当网络层数较多或通道数较大时，累加值可能超过 INT32 范围，此时需要适当缩小 S 值或使用钳位操作。
optimizations=[tf.lite.Optimize.DEFAULT] 并提供代表性数据集，即可自动完成量化。
3.6 常见误区与总结复盘
在模型量化的学习与实践中，以下误区值得特别注意：
- 误区一：量化必然导致精度大幅下降。实际上，对于大多数分类任务，合理的 INT8 量化精度损失可控制在 1% 以内。若损失过大，应检查量化参数设置或考虑 QAT。
- 误区二：所有层都适合 INT8。输入层（第一层）和输出层（最后一层）通常对量化更敏感，建议保留 FP16 或 FP32。
- 误区三：量化后模型无需验证。量化后的模型必须在目标硬件上进行端到端验证，因为 PC 上的模拟结果可能与实际 MCU 推理存在差异（如字节序、对齐方式）。
- 误区四：忽略校准数据集的重要性。校准集必须覆盖模型可能遇到的数据分布，否则量化参数会失真。