2. 量化基础

在深入 TFLite Float16 量化之前，必须先建立对模型量化底层逻辑的系统认知。量化本质上是一种信息重编码技术，它通过降低数值表示精度来换取计算效率与存储空间的优化。对于边缘 GPU 和移动端部署而言，理解量化原理决定了你能否在精度损失与性能提升之间找到最佳平衡点。本章将从数值表示的本质出发，逐步拆解量化的核心机制、精度权衡方法以及主流量化类型，为后续学习 Float16 具体实现打下坚实的理论基础。

2.1 模型量化核心原理：从连续到离散的映射

模型量化的本质是将神经网络中的权重和激活值从高精度浮点数（通常是 FP32）映射到低精度数值表示（如 FP16、INT8）。这种映射并非简单的截断，而是通过数学变换在有限数值范围内重新编码信息。量化过程的核心公式为：r = S × (q − Z)，其中 r 表示原始浮点值，q 表示量化后的整数值，S 是缩放因子（scale），Z 是零点偏移（zero-point）。S 决定了量化步长，Z 则用于对齐浮点零点和量化零点，避免因零点偏移引入额外误差。

从信息论角度看，量化是一个有损压缩过程。FP32 提供约 7 位有效十进制精度，而 INT8 仅提供约 2-3 位有效精度。关键在于，神经网络对权重和激活值的精度敏感度并不均匀——某些层（如第一层卷积）对量化误差非常敏感，而某些层（如最后的全连接层）则相对鲁棒。因此，现代量化方案通常采用逐层或逐通道的量化策略，为不同层配置不同的 S 和 Z 值，以最小化整体精度损失。

2.2 定点与浮点表示：数值系统的本质差异

浮点表示法由 IEEE 754 标准定义，包含符号位、指数位和尾数位三部分。FP32 使用 1 位符号、8 位指数、23 位尾数；FP16 使用 1 位符号、5 位指数、10 位尾数。浮点数的关键优势在于其动态范围——指数位允许表示极大和极小的数值，而尾数位决定了同一数量级内的分辨率。定点表示法则完全不同，它使用固定位数的整数配合一个全局缩放因子，例如 INT8 配合 scale=0.02 时，实际表示范围为 [-2.56, 2.54]，步长为 0.02。

在移动端部署场景中，FP16 具有独特优势：大多数现代移动 GPU（如 Adreno、Mali）和 Apple A 系列芯片都原生支持 FP16 运算，计算吞吐量是 FP32 的两倍。同时，FP16 的存储占用仅为 FP32 的一半，这意味着模型体积减半、内存带宽压力降低。与 INT8 相比，FP16 无需复杂的校准过程，也无需处理零点偏移问题，部署流程更简单。

2.3 精度与性能权衡：量化误差分析与决策框架

量化必然引入误差，但误差并非均匀分布。量化误差主要来源于三个方面：舍入误差（rounding error）、截断误差（clipping error）和累积误差（accumulation error）。舍入误差是量化步长导致的固有误差，截断误差来自超出量化范围的值被强制截断，累积误差则是多层量化误差的叠加效应。对于 Float16 量化，由于动态范围足够大，截断误差几乎可以忽略，主要误差来源是舍入误差。

评估量化对模型精度的影响，需要建立科学的评估框架。首先，应使用验证集而非训练集进行测试，因为模型对训练数据可能存在过拟合。其次，需要关注敏感层分析——逐层量化并观察精度变化，找出对量化最敏感的层。最后，应结合具体业务指标（如 Top-1 准确率、mAP、BLEU 等）而非仅看损失函数值。一个实用的判断方法是：如果量化后模型精度下降不超过 1%，则认为该量化方案可接受；若超过 2%，则需要考虑混合精度方案或量化感知训练。

2.4 常见量化类型概览：PTQ、QAT 与动态量化

根据量化发生的时机和方式，主流量化方案可分为三大类：训练后量化（PTQ）、量化感知训练（QAT）和动态范围量化。PTQ 是最简单的方案，在模型训练完成后直接进行量化，无需重新训练，但精度损失通常较大。QAT 在训练过程中模拟量化误差，让模型自适应调整权重分布，精度损失最小，但需要重新训练模型，计算成本高。动态范围量化则仅对权重进行离线量化，激活值在推理时动态计算缩放因子，兼顾了精度和部署便利性。

Float16 量化在 TFLite 中属于一种特殊的 PTQ 方案，但它的精度损失远小于 INT8 PTQ。这是因为 FP16 的动态范围与 FP32 相同，不存在溢出问题，且舍入误差相对较小。TFLite 的 Float16 量化流程为：先将 FP32 权重转换为 FP16 存储，推理时再将 FP16 权重动态转换为 FP32 进行计算（或直接使用 FP16 计算，取决于硬件支持）。这种“存储用 FP16、计算用 FP32”的策略，在保证精度的同时实现了模型体积减半。

2.5 案例拆解：MobileNetV2 在移动 GPU 上的 Float16 量化实践

为了更直观地理解量化原理的应用，我们以一个典型的移动端视觉模型 MobileNetV2 为例，分析 Float16 量化的完整决策过程。假设我们有一个在 ImageNet 上预训练的 MobileNetV2 模型，FP32 版本大小为 14.2MB，Top-1 准确率为 71.8%。部署目标为搭载 Adreno 650 GPU 的 Android 设备，要求模型体积小于 8MB，推理延迟低于 30ms。

初始评估：直接使用 TFLite 转换器进行 Float16 量化，转换后模型大小为 7.1MB，满足体积要求。在测试设备上运行，推理延迟为 28ms，接近目标。但验证集 Top-1 准确率降至 71.2%，下降 0.6%，在可接受范围内。进一步分析发现，模型最后两层（Logits 层和 AvgPool 层）对量化敏感度最高，单独量化这两层时准确率下降 0.4%。

优化过程：针对敏感层，我们尝试了两种方案：一是对最后两层保持 FP32 精度（混合精度方案），模型体积增至 7.3MB，准确率恢复至 71.6%；二是使用 QAT 对最后两层进行微调，准确率恢复至 71.7%，但需要额外 2 小时训练时间。考虑到部署周期和精度要求，最终选择了混合精度方案。

结果对比：最终方案在保持 71.6% 准确率的同时，模型体积 7.3MB，推理延迟 29ms，均满足需求。与 INT8 量化方案对比（体积 3.6MB，延迟 22ms，但准确率降至 69.8%），Float16 混合精度方案在精度和性能之间取得了更好的平衡。

复盘经验：此案例揭示了三个关键点：第一，Float16 量化的精度损失通常小于 INT8，但敏感层仍需特殊处理；第二，混合精度方案是平衡精度与性能的有效手段；第三，量化评估必须结合具体硬件和业务指标，不能仅看模型体积或理论计算量。

2.6 常见误区与总结复盘

在量化实践中，开发者常陷入几个误区。第一个误区是认为量化精度损失完全由位宽决定——实际上，数据分布、量化粒度（逐层 vs 逐通道）和校准数据集的选择对精度影响更大。第二个误区是忽视校准数据集的重要性——PTQ 需要一小部分代表性数据来确定 S 和 Z 值，如果校准数据与真实数据分布差异大，量化效果会显著恶化。第三个误区是盲目追求低比特量化——在某些场景下，INT8 的精度损失可能超过 5%，而 Float16 仅损失 0.5%，后者反而是更优选择。

总结本章核心要点：量化是信息重编码过程，核心公式为 r = S × (q − Z)；浮点与定点各有优劣，FP16 在动态范围和硬件支持上取得平衡；精度与性能的权衡需要基于敏感层分析和业务指标评估；PTQ、QAT 和动态量化各有适用场景，Float16 量化是移动端部署的“甜点”方案。在实际项目中，建议先进行 Float16 量化快速验证，若精度不达标再考虑混合精度或 QAT，最后才尝试 INT8 量化。