4、模型量化基础：量化原理、定点与浮点、对称/非对称量化、量化误差来源、量化感知训练与后训练量化
在Edge AI低端MCU（如Cortex-M0+、RISC-V内核，Flash 64~256KB，SRAM 16~64KB）上部署神经网络，最大的瓶颈不是算力，而是存储带宽与内存容量。一个典型的MobileNetV1模型，float32权重约16MB，远超多数MCU的Flash上限。模型量化是将神经网络中的权重和激活从高精度浮点数（float32）映射到低精度整数（int8/int16）或低比特（二值/三值）表示的过程，其核心目的是在尽量不损失精度的前提下，将模型体积压缩4~16倍，并显著降低推理时的内存占用与计算功耗。本章将系统拆解量化的数学原理、工程实现路径与误差控制方法。
4.1 量化原理与定点/浮点数学基础
核心原理：量化本质是一个信息压缩过程。浮点数（float32）用1位符号、8位指数、23位尾数表示，动态范围极大但精度分布不均匀；定点数（int8/int16）用固定的小数点位置表示数值，动态范围小但计算速度快、硬件开销低。在MCU上，浮点运算单元（FPU）往往缺失或频率受限，而整数乘加运算（MAC）可以一个时钟周期完成。量化的目标就是找到一个映射函数，将浮点张量映射到整数张量，同时保证映射后的数值分布与原分布尽可能接近。
数学定义：对于浮点实数 r，量化后的整数 q 满足：
q = clamp(round(r / scale) + zero_point, q_min, q_max)
反量化: r_approx = (q - zero_point) * scale其中 scale（缩放因子）是浮点数，zero_point（零点）是整数。scale 决定了量化步长，zero_point 用于对齐浮点零和整数零，避免ReLU等操作产生偏差。
4.2 对称量化与非对称量化：选择策略与适用场景
对称量化强制 zero_point = 0，即浮点零映射到整数零。其优点是计算简单，不需要额外处理零点偏移，适合权重（权重分布通常关于0对称）。非对称量化允许 zero_point ≠ 0，可以更精细地利用量化范围，适合激活值（如ReLU输出恒为非负，分布偏斜）。
| 对比维度 | 对称量化 | 非对称量化 |
|---|---|---|
| zero_point | 固定为0 | 可学习/可校准 |
| 计算复杂度 | 低（无需零点修正） | 较高（需额外减法） |
| 精度表现 | 权重友好，激活可能浪费量化区间 | 激活精度更高，但实现稍复杂 |
| 典型应用 | 权重量化、对称激活（如tanh） | ReLU激活、非对称分布特征图 |
| MCU实现代价 | 指令少，适合Cortex-M0+ | 需额外处理zero_point，适合M4/M7 |
判断方法：在工程实践中，建议对权重使用对称量化（因为权重分布通常接近高斯且关于0对称），对激活使用非对称量化（因为ReLU后分布偏移）。若MCU算力极低（如8位AVR），可全部采用对称量化以简化计算。
4.3 量化误差来源与抑制策略
量化误差主要来自三个方面：舍入误差（round操作导致的信息丢失）、截断误差（超出量化范围的值被强制裁剪）、累积误差（多层量化误差逐层放大）。在低端MCU上，由于网络层数较浅（通常5~15层），累积误差相对可控，但单层误差可能直接导致输出错误。
抑制策略：
- 逐通道量化（Per-channel）：对权重按输出通道分别计算scale，精度提升明显，但MCU上实现需额外存储每个通道的scale。
- 混合精度量化：对敏感层（如第一层、最后的全连接层）保留float16或int16，其余层用int8。
- 量化范围校准：使用验证集统计激活分布，选择最优的min/max值。
4.4 后训练量化（PTQ）与量化感知训练（QAT）实战对比
后训练量化（PTQ）流程：加载预训练float32模型 → 准备少量校准数据（100~500张） → 逐层统计激活分布 → 计算scale/zero_point → 量化权重和激活 → 微调（可选）。PTQ无需训练，速度快，但精度损失较大（通常1~3%）。
量化感知训练（QAT）流程：在训练过程中插入伪量化节点（模拟量化误差） → 前向传播使用量化后的权重和激活 → 反向传播使用直通估计器（STE）（即梯度直接通过round函数） → 训练完成后导出量化模型。QAT精度损失可控制在0.5%以内，但需要完整训练流程和GPU资源。
4.5 案例拆解：基于Cortex-M0+的唤醒词识别模型量化
背景与约束：某智能门锁产品需在STM32G0B1（Cortex-M0+，64KB SRAM，256KB Flash）上部署一个关键词唤醒模型（DS-CNN，5层卷积+2层全连接）。原始float32模型大小1.2MB，推理时间850ms，内存占用180KB，无法满足实时性要求（需<100ms）。
初始现象与目标：模型精度（唤醒率）98.2%，误唤醒率0.5次/天。目标：模型压缩至Flash<200KB，推理时间<80ms，内存<50KB，唤醒率≥97%。
关键输入数据：训练集10万条语音，验证集5000条。权重分布：卷积层近似高斯对称分布，全连接层有少量极端值。激活分布：ReLU后非负，偏斜明显。
分析判断过程：
- 首先尝试PTQ（int8对称权重+非对称激活），使用500张校准图片统计激活范围。结果：唤醒率降至94.5%，误唤醒率升至2次/天。分析发现第一层卷积对量化敏感，因为输入是MFCC特征，动态范围大。
- 对第一层保留int16量化，其余层int8。结果：唤醒率96.8%，仍不达标。
- 改用QAT，在训练中模拟量化误差，训练50个epoch。结果：唤醒率97.5%，误唤醒率0.8次/天，满足要求。
实际操作步骤：
# 使用TensorFlow + TFLite Micro工具链
# 1. PTQ校准
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
tflite_model = converter.convert()
# 2. QAT训练
quantize_model = tf.quantization.quantize_model
qat_model = quantize_model(original_model)
qat_model.fit(train_data, epochs=50)
# 3. 导出并转换为C数组
xxd -i model.tflite > model_data.cc结果对比：最终模型Flash占用168KB（压缩7.1倍），推理时间72ms（提升11.8倍），内存占用46KB。代价是训练时间增加3天（QAT训练），且部署代码需额外处理int16/int8混合计算。
复盘经验：低端MCU上，第一层和最后一层往往是精度瓶颈，优先考虑混合精度；QAT虽然耗时，但精度收益显著；校准数据的选择直接影响PTQ效果，应覆盖真实场景的极端输入。
4.6 常见误区与总结复盘
- 误区1：认为量化就是简单的float转int，忽略zero_point的作用。非对称量化中，zero_point错误会导致ReLU后激活偏移，产生严重精度损失。
- 误区2：在MCU上使用float32的scale进行反量化。低端MCU无FPU，应使用定点scale（如将scale表示为整数乘加移位操作）。
- 误区3：对所有层使用相同的量化配置。不同层对量化的敏感度差异巨大，需逐层分析。
- 误区4：忽略量化后的数值溢出。int8乘法累加结果可能超过int16范围，需在硬件上使用int32累加器。