📚 课程目录第2章量化基础

2、量化基础：什么是量化、为什么需要量化、量化的类型（对称/非对称）以及Int8量化的基本概念

在进入TFLite Int8部署的实操之前，必须先厘清量化的底层逻辑。量化（Quantization）本质上是一种数值表示的精简技术，它用低精度数据类型（如Int8）去近似高精度数据类型（如Float32）的数值范围。对于边缘计算和移动端推理而言，量化不是“可选项”，而是“必选项”。本章将系统拆解量化的定义、动机、分类方式以及Int8量化在深度学习推理中的具体含义，为后续理解Scale与Zero Point的计算打下坚实基础。

2.1 核心原理：量化的数学本质与信息论视角

量化在数学上是一个从浮点实数域到有限整数集合的映射函数。设浮点张量值为 r，量化后的整数值为 q，则标准仿射量化（Affine Quantization）公式为：

q = clamp(round(r / Scale) + ZeroPoint, q_min, q_max)

其中 Scale 是一个正的浮点数，表示每个整数步长代表的浮点范围；ZeroPoint 是一个整数，表示浮点值 0.0 对应的量化值。反量化（Dequantization）则是其逆运算：

r ≈ (q - ZeroPoint) × Scale

从信息论角度看，量化本质上是一个有损压缩过程。Float32 提供约 7 位有效十进制精度，而 Int8 仅提供约 2-3 位有效十进制精度。量化过程会引入量化误差（Quantization Error），其大小取决于两个因素：数值范围的选择和数据分布的形状。如果选择的浮点范围过宽，则 Scale 值变大，步长变粗，精度下降；如果范围过窄，则超出范围的值会被截断（Clipping），产生饱和误差。因此，量化范围的选择是一个典型的“精度-召回率”权衡问题。

  关键理解：量化不是简单的“四舍五入”，而是包含范围裁剪和步长映射两个步骤。范围裁剪决定了哪些值被保留，步长映射决定了保留值的精度。TFLite 在训练后量化（Post-Training Quantization）中，通常使用校准数据集（Calibration Dataset）来统计激活值的实际分布范围，从而确定最优的 Scale 和 ZeroPoint。

2.2 为什么需要量化：从模型体积到推理速度的全面收益

深度学习模型在边缘设备上的部署面临三大瓶颈：存储空间有限、内存带宽不足、计算能力受限。Int8 量化在这三个维度上均带来显著改善。

对比维度	Float32 模型	Int8 量化模型	收益倍数
模型体积	100 MB	25 MB	4× 压缩
内存带宽占用	4 字节/参数	1 字节/参数	4× 降低
整数乘加运算	FP32 乘加	INT8 乘加	2-4× 加速（硬件相关）
功耗	高	低	显著降低

以 MobileNetV2 为例，原始 Float32 模型约 14 MB，量化到 Int8 后仅约 3.5 MB。在树莓派或 Android 手机上，推理延迟可从 200ms 降至 80ms 左右。更重要的是，许多边缘芯片（如 Coral Edge TPU、Qualcomm Hexagon DSP）仅支持整数运算，如果不进行量化，这些硬件根本无法运行模型。因此，量化是从“服务器端可运行”到“边缘端可部署”的必经之路。

2.3 量化的类型：对称与非对称的对比与选择

根据 ZeroPoint 是否为 0，量化可分为对称量化（Symmetric）和非对称量化（Asymmetric）两种类型。两者的核心区别在于浮点零值映射到整数的方式不同。

2.3.1 对称量化（Symmetric Quantization）

对称量化强制 ZeroPoint = 0，即浮点 0.0 精确映射到整数 0。此时量化公式简化为：

q = clamp(round(r / Scale), -128, 127)
Scale = max(|r_min|, |r_max|) / 127

对称量化的优势在于计算效率高——不需要额外的零点偏移运算，且卷积运算中的累加器可以简化。其劣势在于，如果数据分布严重偏斜（例如激活值经过 ReLU 后全部为非负数），则量化范围会浪费一半（负半轴完全未使用），导致有效精度降低。

2.3.2 非对称量化（Asymmetric Quantization）

非对称量化允许 ZeroPoint 取任意整数，使得浮点范围 [min, max] 能够完整映射到 [-128, 127] 的整数区间。此时：

Scale = (r_max - r_min) / (q_max - q_min)
ZeroPoint = q_min - round(r_min / Scale)

非对称量化充分利用了 Int8 的全部数值范围，对于分布偏斜的数据（如 ReLU 后的激活值）精度更高。代价是计算时需要额外处理 ZeroPoint 的偏移，且推理时需要多一次加法运算。

对比项	对称量化	非对称量化
ZeroPoint	恒为 0	任意整数
适用场景	权重（分布近似对称）	激活值（分布偏斜）
计算复杂度	低	中
精度表现	对称分布下优秀	偏斜分布下更优
TFLite 默认策略	权重使用	激活值使用

经验法则：在 TFLite 中，权重张量通常使用对称量化，因为训练好的权重分布大致关于 0 对称；而激活张量使用非对称量化，因为经过 ReLU 等激活函数后，激活值往往是非负的。这种混合策略在精度和计算效率之间取得了最佳平衡。

2.4 Int8 量化的基本概念：从浮点世界到整数世界的映射

Int8 量化特指将浮点数值映射到 8 位有符号整数（范围 -128 到 127）的过程。在 TFLite 中，Int8 量化涉及三个关键参数：Scale、ZeroPoint 和 Quantized Dimension（通常为 0，表示逐张量量化）。

以一个具体的卷积层为例，假设输入激活值的浮点范围为 [0.0, 6.0]，则非对称量化参数计算如下：

r_min = 0.0, r_max = 6.0
q_min = -128, q_max = 127

Scale = (6.0 - 0.0) / (127 - (-128)) = 6.0 / 255 ≈ 0.02353
ZeroPoint = -128 - round(0.0 / 0.02353) = -128 - 0 = -128

浮点值 3.0 的量化过程：
q = round(3.0 / 0.02353) + (-128) = round(127.5) - 128 = 128 - 128 = 0

这意味着浮点值 3.0 被映射到整数 0，而浮点值 0.0 被映射到整数 -128。反量化时，整数 0 对应的浮点值为 (0 - (-128)) × 0.02353 ≈ 3.01，存在约 0.01 的量化误差。

2.5 案例拆解：一个图像分类模型的量化前后对比

假设我们有一个在 ImageNet 上训练的 MobileNetV2 分类模型，输入为 224×224×3 的 RGB 图像。我们使用 TFLite 的 Post-Training Quantization 将其转换为 Int8 模型。

初始现象与目标：原始 Float32 模型大小为 14 MB，在 Android 手机上推理延迟为 180ms，内存占用约 200 MB。目标是将模型部署到内存仅 64 MB 的嵌入式设备上，并保持 Top-1 准确率下降不超过 2%。

关键输入数据：

校准数据集：从训练集中随机选取 500 张图片，覆盖 100 个类别
原始模型权重分布：约 68% 的权重值集中在 [-0.1, 0.1] 区间
激活值分布：经过 ReLU6 后，激活值范围在 [0, 6] 之间

分析判断过程：由于激活值全部为非负，若使用对称量化，则量化范围会覆盖 [-6, 6]，导致一半的整数编码空间被浪费。因此，激活值必须采用非对称量化。权重分布近似对称，使用对称量化即可。

实际操作步骤：

使用 TFLite Converter 加载 Float32 模型
设置 optimizations = [DEFAULT] 和 representative_dataset 校准函数
指定 supported_ops = [TFLITE_BUILTINS_INT8] 强制全整数推理
转换完成后，检查每个张量的 Scale 和 ZeroPoint 值

结果对比：

指标	Float32	Int8 量化	变化
模型大小	14 MB	3.5 MB	-75%
推理延迟	180 ms	95 ms	-47%
内存占用	200 MB	52 MB	-74%
Top-1 准确率	71.8%	70.9%	-0.9%

风险与代价：量化后准确率下降 0.9%，在可接受范围内。但若校准数据集选择不当（例如仅使用单一类别的图片），可能导致激活值范围估计偏差，准确率下降超过 5%。此外，某些对数值敏感的网络层（如检测头的回归层）可能需要保留 Float32 运算。

复盘经验：量化成功的关键在于校准数据集的质量和代表性。建议从训练集中均匀采样，覆盖所有类别和光照条件。同时，对于敏感层，可以使用混合精度量化（部分层保留 Float32）来平衡精度和效率。

2.6 常见误区与总结复盘

误区一：量化就是简单的精度损失。实际上，量化可以看作是一种正则化，有时反而能提升泛化能力。关键在于 Scale 和 ZeroPoint 的选择是否合理。

误区二：所有模型都适合 Int8 量化。对于极深网络（如 ResNet-152）或对数值极其敏感的模型（如超分辨率网络），量化后精度可能下降超过 5%。此时需要采用量化感知训练（Quantization-Aware Training）来缓解。

误区三：忽略 ZeroPoint 的作用。在非对称量化中，ZeroPoint 不是可有可无的偏移量，它直接影响反量化的正确性。若 ZeroPoint 计算错误，整个推理结果将产生系统性偏差。

总结复盘：量化是浮点模型到整数模型的数学映射过程，其核心是确定 Scale 和 ZeroPoint 两个参数。对称量化适合权重，非对称量化适合激活值。Int8 量化在模型体积、推理速度和内存占用上带来 3-4 倍的收益，但需要谨慎处理校准数据集和敏感层。理解量化的数学本质，是后续掌握 TFLite 中 Scale 与 ZeroPoint 具体计算和反量化操作的前提。在实际工程中，建议先使用默认的 Post-Training Quantization 评估精度损失，若损失过大再考虑 Quantization-Aware Training 或混合精度方案。