3、量化基础概念：浮点与定点表示、INT8量化原理、对称与非对称量化、量化参数（scale/zero-point）

在嵌入式平台（尤其是Cortex-M系列MCU）上部署神经网络模型时，INT8量化是当前工程实践中最主流的模型压缩与加速手段。Cortex-M内核（如M4F、M7、M33、M55等）通常不具备强大的浮点并行计算单元，但具备单周期或低延迟的SIMD（单指令多数据）整数乘加指令。因此，将浮点模型转换为INT8定点模型，不仅能够显著减少模型体积（约减少75%的权重存储），还能利用硬件整数流水线实现数倍乃至一个数量级的推理加速。然而，量化本质上是一个有损压缩过程，精度验证是确保量化后模型在目标硬件上行为符合预期的关键环节。本章将深入剖析量化的数学基础与工程概念，为后续章节的精度验证方法奠定坚实的理论基础。

上图清晰地展示了浮点、定点与INT8量化之间的演进关系。浮点表示提供了极大的动态范围，但在Cortex-M这类嵌入式处理器上，如果没有硬件浮点单元（FPU），其运算效率极低。定点表示通过固定小数点位置来简化硬件设计，但需要开发者手动处理溢出和精度损失。INT8量化则是在定点思想基础上，通过引入缩放因子（scale）和零点（zero-point）两个参数，实现了一种更通用、更自动化的数值映射机制。下面我们将逐一拆解这些核心概念。

3.1 浮点与定点表示：理解数值的两种视角

核心原理

浮点数（如FP32）采用科学计数法的二进制形式，由符号位、指数位和尾数位组成。其优势在于能够以极高的动态范围表示从极小到极大的数值，且精度相对均匀。然而，在Cortex-M处理器上，FP32运算需要调用软件浮点库（如softfp）或依赖硬件FPU。对于没有FPU的Cortex-M0/M0+/M3内核，一次浮点乘法可能需要几十甚至上百个CPU周期，这在实际推理中是不可接受的。

定点数（Fixed-point）则是一种更为原始的表示方法。它将一个整数视为一个隐含了固定缩放因子的实数。例如，Q15格式表示16位有符号整数，隐含缩放因子为2^-15，即能表示-1.0到0.9999695之间的数，精度为1/32768。定点运算完全基于整数加减乘除，在Cortex-M上执行效率极高。但定点格式的痛点在于：小数点的位置是固定的，如果网络层的权重和激活值动态范围差异较大，就需要为每一层精心设计不同的Q格式，这导致工程实现极其繁琐且容易出错。

判断方法与操作流程

在决定是否使用定点或INT8量化前，需要评估模型在目标硬件上的瓶颈。操作流程如下：

1. 性能剖析：使用Cycle Counter或IDE调试器统计模型各层在FP32下的耗时占比。
2. 硬件能力检查：查阅Cortex-M内核手册，确认是否支持DSP扩展指令（如SMLAD、SMLALD）或Helium M-Profile Vector Extension（MVE，如Cortex-M55）。这些指令直接操作INT8/INT16数据。
3. 精度敏感度分析：对每一层进行逐层量化模拟，观察输出误差的传播情况。通常，第一层和最后一层对量化误差最敏感。

案例拆解：一个简单的全连接层

假设有一个全连接层，权重矩阵为W（形状[64, 32]），输入向量为x（形状[32]）。在FP32下，输出y = W·x。若改用Q15定点，需要将W和x都转换为Q15格式。但问题在于：如果W的数值范围在[-0.1, 0.1]之间，而x的范围在[-10.0, 10.0]之间，那么统一的Q15格式（范围[-1.0, 1.0)）将导致x严重溢出。此时，必须为x单独设计Q5格式（范围[-16, 16)），而W使用Q15格式。这导致计算时需要混合精度的定点乘法，并需要额外的移位操作来对齐小数点，代码复杂度急剧上升。而INT8量化通过引入scale参数，可以分别为W和x设定不同的缩放因子，从而优雅地解决这个问题。

3.2 INT8量化原理与量化参数（scale/zero-point）

核心原理

INT8量化的本质是寻找一个线性映射，将浮点实数域中的一个有限区间 [min_val, max_val] 映射到整数域 [-128, 127]（或 [0, 255]）。这个映射由两个参数唯一确定：缩放因子（scale）和零点（zero-point）。

• scale（缩放因子）：一个正浮点数，表示整数域中每个单位间隔对应的实数步长。计算公式为：scale = (max_val - min_val) / (qmax - qmin)。
• zero-point（零点）：一个整数，表示实数中数值0对应的量化整数值。对于非对称量化，zero_point = round(-min_val / scale) + qmin。对于对称量化，zero_point = 0。

反量化公式为：real_value = (int_value - zero_point) × scale。量化公式为：int_value = round(real_value / scale) + zero_point。在Cortex-M上，推理时通常将权重和激活值预先量化为INT8，在计算卷积或全连接时，使用整数乘加指令（如SMLAD）进行累加，累加结果通常存储在INT32中，最后再乘以scale并加上zero_point进行反量化，得到浮点结果（或直接输出INT8给下一层）。

对称与非对称量化对比

判断方法与操作流程

选择对称还是非对称量化，需要根据张量的数据分布特征来决定。操作流程如下：

1. 统计分布：使用校准数据集（通常为训练集或验证集的子集）跑一遍FP32模型，记录每一层权重和激活值的数值分布直方图。
2. 分布分析：如果激活值经过ReLU后均为非负，且最小值接近0，则非对称量化能更好地利用[-128, 127]的表示能力。如果数据分布近似关于0对称（如权重），则对称量化更简单且不会损失太多精度。
3. 硬件指令匹配：Cortex-M的某些DSP指令（如SMMLA）对符号数处理更高效。对称量化由于zero-point为0，在硬件实现上可以省去一次减法操作，从而减少指令周期。

案例拆解：ReLU激活函数的量化

假设某层ReLU输出的激活值范围在[0.0, 6.0]之间。若采用对称量化，则量化范围需要覆盖[-6.0, 6.0]（因为对称要求关于0对称），此时scale = 12.0 / 255 ≈ 0.047，但实际数据只用了[0, 6.0]区间，导致一半的量化范围（[-6.0, 0)）被浪费，精度损失较大。若采用非对称量化，则量化范围仅为[0.0, 6.0]，scale = 6.0 / 255 ≈ 0.0235，zero_point = 0。这样，INT8的0对应实数0.0，INT8的255对应实数6.0，量化精度提升了一倍。在Cortex-M上，虽然非对称量化需要多一次减法操作，但精度收益通常远大于这点额外开销。

3.3 量化参数的计算与校准方法

核心原理

量化参数（scale和zero-point）的准确性直接决定了量化模型的精度。计算这些参数的过程称为“校准”。最简单的校准方法是MinMax校准，即直接使用校准数据集上观察到的张量最小值和最大值。但这种方法对异常值（Outliers）非常敏感，一个极端值就会拉宽量化范围，降低整体精度。

更稳健的方法是百分位校准（Percentile）或KL散度校准（Entropy Calibration）。百分位校准会截断最小和最大值的某个百分比（如0.1%），以牺牲少量极端值为代价换取更紧凑的量化范围。KL散度校准则通过最小化原始浮点分布与量化后分布之间的KL散度，寻找最优的阈值，这种方法在TensorRT等框架中广泛使用。

操作流程：MinMax校准步骤

// 伪代码示例：MinMax校准流程
for each layer in model:
    min_val = +∞
    max_val = -∞
    for each batch in calibration_dataset:
        output = layer.forward(batch)
        min_val = min(min_val, output.min())
        max_val = max(max_val, output.max())
    // 计算scale和zero_point
    scale = (max_val - min_val) / 255.0
    zero_point = round(-min_val / scale) - 128
    // 确保zero_point在[-128, 127]范围内
    zero_point = clamp(zero_point, -128, 127)

案例拆解：KL散度校准的工程实现

在Cortex-M项目中，如果发现MinMax校准导致模型精度下降超过2%，建议改用KL散度校准。具体步骤如下：

1. 收集直方图：将激活值的浮点范围划分为2048个bin，统计每个bin的样本数量。
2. 搜索最优阈值：从第128个bin开始，逐步向两侧扩展，计算每个候选阈值下量化后的分布与原始分布的KL散度。
3. 选择最小散度：选取KL散度最小的阈值作为最终的max_val，并据此计算scale。

例如，某层激活值分布呈现长尾特性，最大值达到12.0，但99.9%的数据集中在[-2.0, 2.0]之间。MinMax校准会得到scale = 24/255 ≈ 0.094，导致大部分数据被压缩到几个量化级别中。而KL散度校准可能会选择阈值4.0，scale = 8/255 ≈ 0.031，从而显著提升量化分辨率。

3.4 常见误区与总结复盘

常见误区

• 误区一：所有层都使用相同的量化参数。 实际上，每一层的权重和激活值分布差异巨大，必须逐层独立计算scale和zero-point。
• 误区二：忽略zero-point在卷积中的累加效应。 在非对称量化卷积中，y = sum((w - zp_w) * (x - zp_x))，展开后会出现zp_w * sum(x)和zp_x * sum(w)等额外项，这些项需要在累加器中预先补偿，否则会产生固定偏差。
• 误区三：校准数据集过小或与推理数据分布不一致。 如果校准集只有几十张图片，而实际部署场景光照、噪声差异大，量化参数可能严重失真。
• 误区四：认为INT8量化后精度一定下降。 在某些情况下，量化反而能起到正则化作用，提升模型泛化能力。关键在于校准方法是否得当。

总结复盘

本章节深入剖析了INT8量化的数学基础。核心要点归纳如下：