4、量化公式推导：从浮点到Int8的量化公式及反量化公式的推导与理解

在TFLite的Int8量化推理中，最核心的数学桥梁就是量化（Quantization）与反量化（Dequantization）公式。理解这两个公式的来龙去脉，是正确配置Scale和Zero Point参数的前提。很多工程师在部署模型时，遇到“输出结果全是0”或“精度暴跌”的问题，往往不是模型结构出错，而是对量化公式的数学含义理解不透彻，导致Scale和Zero Point计算错误。本节将从数学推导、几何意义、工程实现三个维度，彻底拆解这两个公式。

4.1 量化公式的数学推导：从线性映射到整数编码

量化本质上是将一个连续的浮点区间 [r_min, r_max] 映射到一个离散的整数区间 [q_min, q_max]。对于Int8，q_min = -128，q_max = 127。这个映射必须是线性的，才能保证在反量化后能够近似还原原始数据分布。

我们设量化公式为：q = round(r / scale) + zero_point。这个公式并非凭空产生，而是从线性插值推导而来。假设我们有一个浮点值 r，它在线性映射下的整数表示为 q，那么存在以下关系：

r ≈ (q - zero_point) * scale

将上式变形，即可得到量化公式：

q = round(r / scale) + zero_point

这里的 scale 表示每个整数步长代表的浮点数值大小，zero_point 表示浮点值0对应的整数编码。为什么需要 zero_point？因为浮点区间 [r_min, r_max] 不一定关于0对称，而Int8区间 [-128, 127] 也不对称，因此需要一个偏移量来对齐两个区间的零点。

4.2 Scale与Zero Point的计算方法：从数据范围到参数确定

在实际工程中，我们通常通过统计张量的浮点数据分布来确定 r_min 和 r_max。TFLite默认使用张量的实际最小值和最大值（动态范围量化），也可以使用校准数据集统计更鲁棒的边界（如百分位数）。

计算步骤如下：

1. 确定浮点范围：统计张量中所有元素的最小值 r_min 和最大值 r_max。
2. 计算Scale：scale = (r_max - r_min) / (q_max - q_min)。对于Int8，分母为 127 - (-128) = 255。
3. 计算Zero Point：zero_point = round(q_min - r_min / scale)。这里使用 round() 将结果取整到最近的整数。
4. 钳位处理：确保 zero_point 在 [q_min, q_max] 范围内，防止溢出。

参数	公式	示例值（r_min=-1.5, r_max=2.5）	说明
scale	(r_max - r_min) / (q_max - q_min)	4.0 / 255 ≈ 0.015686	每个整数步长代表的浮点值
zero_point	round(q_min - r_min / scale)	round(-128 - (-95.5)) = -32	浮点0对应的整数编码
量化值 q	round(r / scale) + zero_point	r=0.72 → q=14	浮点转整数
反量化值 r'	(q - zero_point) * scale	q=14 → r'= (14+32)*0.015686=0.7216	整数转浮点（有舍入误差）

4.3 反量化公式的工程意义：从整数到浮点的还原

反量化公式 r = (q - zero_point) * scale 在推理过程中同样关键。在TFLite中，卷积、全连接等算子的输入和权重通常以Int8存储，但中间累加结果（Accumulator）会以Int32或Float32计算。当需要将结果传递给下一个量化算子时，必须进行反量化再量化，或者直接使用融合算子（如 QuantizedConv2D）内部处理。

反量化公式的推导非常直观：从量化公式 q = round(r / scale) + zero_point 中解出 r，忽略 round() 的舍入影响，即可得到 r ≈ (q - zero_point) * scale。这个公式在硬件实现上非常高效，只需要一次整数减法、一次整数乘法和一次浮点乘法（或定点乘法）。

4.4 案例拆解：一个张量的完整量化与反量化过程

假设我们有一个浮点张量 r = [-1.5, -0.8, 0.0, 0.72, 2.5]，需要量化为Int8。我们按照以下步骤操作：

1. 确定范围：r_min = -1.5, r_max = 2.5。
2. 计算scale：scale = (2.5 - (-1.5)) / 255 = 4.0 / 255 ≈ 0.015686。
3. 计算zero_point：zero_point = round(-128 - (-1.5)/0.015686) = round(-128 + 95.5) = round(-32.5) = -32（注意：round(-32.5)在Python中为-32，采用银行家舍入）。
4. 量化每个元素：
   • r=-1.5 → q = round(-1.5/0.015686) + (-32) = round(-95.6) - 32 = -96 - 32 = -128
   • r=-0.8 → q = round(-0.8/0.015686) - 32 = round(-51.0) - 32 = -51 - 32 = -83
   • r=0.0 → q = round(0) - 32 = 0 - 32 = -32
   • r=0.72 → q = round(45.9) - 32 = 46 - 32 = 14
   • r=2.5 → q = round(159.4) - 32 = 159 - 32 = 127
5. 反量化验证：
   • q=-128 → r' = (-128 + 32) * 0.015686 = -96 * 0.015686 = -1.5059（误差0.0059）
   • q=14 → r' = (14 + 32) * 0.015686 = 46 * 0.015686 = 0.7216（误差0.0016）

从结果可以看出，反量化后的值与原始浮点值非常接近，误差在 scale/2 以内。这个案例展示了量化过程的完整闭环，也验证了公式的正确性。

4.5 常见误区与调优建议

在量化公式的使用中，工程师常犯以下错误：

• 误区一：认为 zero_point 一定是0。实际上，只有当浮点范围关于0对称时，zero_point 才接近0。对于ReLU后的特征图（全为正数），zero_point 通常为负数。
• 误区二：忽略 round() 的舍入模式。TFLite默认使用 round half to even（银行家舍入），与Python的 round() 一致，但与C语言的 round()（四舍五入）不同。在跨语言实现时需特别注意。
• 误区三：在反量化时使用浮点除法代替乘法。正确做法是 (q - zero_point) * scale，而不是 (q - zero_point) / (1/scale)，后者会引入额外的舍入误差。
• 调优建议：当模型精度下降超过2%时，优先检查输入张量的scale是否过大（可尝试使用 per_channel 量化），其次检查是否有张量溢出（量化值达到-128或127的占比过高）。