3、量化基础：模型量化原理、定点与浮点表示、量化参数（scale/zero_point）、对称与非对称量化

在进入 TFLite Micro 的 QAT（量化感知训练）实战之前，必须先建立扎实的量化理论基础。量化本质上是一种信息压缩技术，它用低精度数值（如 int8）近似表示高精度数值（如 float32），从而在嵌入式设备上换取更小的模型体积、更低的内存带宽和更快的推理速度。本章将系统拆解量化的数学本质、定点与浮点的差异、核心量化参数（scale 与 zero_point）的推导逻辑，以及对称/非对称两种量化策略的适用场景。理解这些概念，是后续在 TensorFlow 中配置 QAT 流程、调试精度损失、部署到微控制器（MCU）的绝对前提。

上图展示了量化理论的核心骨架：浮点与定点之间的桥梁是量化参数，而对称与非对称的选择取决于数据分布。下面我们将逐一深入每个模块。

3.1 模型量化原理：为什么需要量化，量化解决了什么

核心原理：深度学习模型在训练时通常使用 32 位浮点数（FP32）来存储权重和激活值，以保证梯度传播的精度。但在推理阶段，尤其是在微控制器（如 Cortex-M 系列）上，FP32 运算不仅速度慢，而且内存占用极高。一个 100KB 的 FP32 模型，在 int8 量化后仅需 25KB，内存带宽需求也同步降低 75%。量化原理的核心在于：用有限的离散整数值来近似连续的浮点数值，同时尽量保持原始数值的分布特征。从信息论角度看，量化是一个有损压缩过程，其目标是在给定的位宽（如 8bit）下，最小化量化误差对最终任务精度的影响。

量化误差的来源：主要包括两类：舍入误差（rounding error）和截断误差（clipping error）。舍入误差源于将浮点数映射到最近整数点的过程；截断误差源于超出量化范围的数据被强制钳位到边界值。QAT 的核心思想就是通过在训练过程中模拟这两类误差，让模型参数在更新时主动适应量化带来的扰动，从而在推理时获得比训练后量化（PTQ）更高的精度。

3.2 定点与浮点表示：从数学到硬件的映射

浮点表示（FP32）：由符号位、指数位和尾数位组成，能够表示极大和极小的数值范围（约 1.2e-38 到 3.4e38），且精度动态可变。这种灵活性是训练阶段必需的，因为梯度值可能跨越多个数量级。然而，在 MCU 上，FP32 运算需要软件模拟或专用的 FPU（浮点运算单元），功耗和面积开销大。

定点表示（INT8）：本质上是整数，但通过约定的 scale 因子隐含小数点的位置。例如，当 scale=0.5 时，整数 3 代表浮点数 1.5。定点运算在硬件上只需整数乘加指令，速度极快。TFLite Micro 在 ARM Cortex-M 上通常利用 CMSIS-NN 库的优化函数，将 int8 运算性能发挥到极致。

关键区别对比：

操作流程：在 QAT 中，我们并不直接修改模型权重为整数，而是在计算图中插入“伪量化节点”（Fake Quant）。这些节点在前向传播时将浮点张量量化为 int8 再反量化为浮点，从而模拟量化误差；但在反向传播时，使用直通估计器（STE）让梯度绕过量化函数，保证模型可以正常更新。

3.3 量化参数：scale 与 zero_point 的数学推导

核心公式：给定浮点实数 r，量化整数 q，它们的关系为：

r = scale × (q - zero_point)

其中 scale（缩放因子）是浮点数，表示每个整数步长代表的实际数值大小；zero_point（零点）是整数，表示浮点数值 0.0 对应的量化整数。反量化公式为：q = round(r / scale + zero_point)。

scale 的计算：假设浮点数值范围为 [min_val, max_val]，量化位宽为 n（如 8bit），则量化整数范围为 [q_min, q_max]。对于非对称量化：

scale = (max_val - min_val) / (q_max - q_min)
zero_point = q_min - round(min_val / scale)

对于对称量化，我们强制 zero_point = 0，且 min_val = -max_val，此时 scale = max_val / q_max。

案例拆解：假设某层激活值经过 ReLU 后分布在 [0.0, 6.0]，使用非对称 int8 量化（q_min=0, q_max=255）：

1. 计算 scale： scale = (6.0 - 0.0) / (255 - 0) = 0.023529
2. 计算 zero_point： zero_point = 0 - round(0.0 / 0.023529) = 0
3. 量化浮点数 3.5： q = round(3.5 / 0.023529 + 0) = round(148.75) = 149
4. 反量化验证： r = 0.023529 × (149 - 0) = 3.5058，误差约 0.0058，在可接受范围内。

若使用对称量化，则需将范围调整为 [-6.0, 6.0]，导致 scale = 6.0 / 127 = 0.047244，量化 3.5 时误差会增大到约 0.05。这说明非对称量化对非负分布（如 ReLU 输出）更友好。

3.4 对称与非对称量化：策略选择与实战场景

对称量化：要求浮点 0.0 精确映射到整数 0，因此 zero_point = 0。其优点是计算简单，不需要额外的零点减法操作，在硬件上更高效。缺点是如果数据分布偏向一侧（如全为正），则量化范围会浪费一半的表示能力。对称量化常用于权重张量，因为训练良好的权重通常呈近似高斯分布，中心在 0 附近。

非对称量化：允许 zero_point 非零，可以精确覆盖浮点数据的实际动态范围 [min, max]，不浪费任何量化级别。其代价是推理时需要额外的零点偏移计算。非对称量化是激活值的首选，因为激活值经过 ReLU 后通常非负，使用对称量化会浪费一半的整数范围。

选择决策表：

实战场景：假设我们在 TFLite Micro 上部署一个关键词唤醒模型（KWS）。输入是 16kHz 的音频特征，经过第一层卷积后，激活值分布为 [0.0, 12.5]。若错误地使用对称量化，则范围变为 [-12.5, 12.5]，导致 scale = 12.5/127 ≈ 0.0984，而实际正数部分仅使用了一半的整数范围，量化步长变大，精度下降。改用非对称量化后，scale = 12.5/255 ≈ 0.0490，步长减半，精度显著提升。在 QAT 训练中，我们会通过观察 tensorboard 中的激活分布直方图来确认量化方式的合理性。

3.5 案例闭环：从 FP32 到 QAT 的量化参数调试

背景与约束：某智能家居项目需要在 Cortex-M4F 芯片（无 FPU）上运行一个人员检测模型。初始 FP32 模型大小为 1.2MB，推理延迟 850ms，内存占用 300KB。目标是将模型压缩至 300KB 以内，延迟降低到 200ms 以下，且精度（mAP）下降不超过 2%。

初始现象：直接使用 PTQ（训练后量化）后，模型大小降至 300KB，延迟降至 180ms，但 mAP 从 0.82 暴跌至 0.61，严重超出容忍范围。分析发现，第一层卷积的激活值分布极不均匀，存在大量接近 0 的小数值和少量大于 10 的峰值，PTQ 的 min/max 统计导致 scale 过大，小数值被全部量化为 0，信息丢失严重。

关键输入数据：通过 TensorBoard 可视化各层激活分布，发现第一层激活值 90% 集中在 [0, 2] 区间，但最大值达到 15.3。若使用 min=0, max=15.3 计算 scale，则步长为 0.06，导致 0.5 以下的值全部变为 0。

分析判断过程：决定采用 QAT 方案，并在 QAT 训练中启用量化感知的激活范围学习。具体操作：在 TensorFlow 中，使用 tf.quantization.quantize_and_dequantize 或 tf.quantization.fake_quant_with_min_max_vars 节点，并设置合适的 narrow_range 参数。同时，在训练初期冻结 BN 层（batch norm），避免量化参数与 BN 统计量相互干扰。

实际操作步骤：

1. 在模型中插入伪量化节点，初始 min/max 从 PTQ 校准集中获取。
2. 使用较小的学习率（原学习率的 1/10）进行 5 个 epoch 的微调。
3. 监控每个伪量化节点的 min/max 变化，发现第一层激活的 max 从 15.3 逐渐收敛到 8.2，说明模型学会了压缩异常值。
4. 导出 TFLite 模型，使用 tf.lite.TFLiteConverter 并设置 optimizations=[tf.lite.Optimize.DEFAULT]，同时提供代表性数据集。

结果对比：QAT 后模型 mAP 为 0.80（仅下降 0.02），模型大小 305KB，延迟 190ms，内存占用 280KB，全部满足需求。相比 PTQ，QAT 的精度提升了 19 个百分点。

风险与代价：QAT 需要额外的训练时间和计算资源（约增加 30% 训练时间），且需要精心调整伪量化节点的插入位置。若模型中有自定义算子，需要确保 TFLite Micro 的运行时支持对应的量化内核。

复盘经验：量化参数不是静态的，QAT 的核心价值在于让模型在训练中“学会”适应量化噪声。对于分布极端的层，不要依赖默认的 min/max 统计，应结合百分位裁剪或指数移动平均（EMA）来平滑 min/max 的更新。