深度学习模型量化基础：量化原理、定点与浮点、对称与非对称量化

核心原理：为什么需要量化，以及量化到底在做什么

深度学习模型在训练阶段通常使用 FP32（32位浮点数）来存储权重和激活值，以保证反向传播时梯度的精度。但在推理阶段，尤其是部署到 GPU、边缘设备或专用加速器时，我们并不需要如此高的数值精度。量化的本质，是将连续的浮点数值映射到离散的整数数值空间，例如 INT8（8位整数），从而用更少的比特位表示原始信息。

这一过程带来的收益非常直接：模型体积缩小约4倍（FP32→INT8），内存带宽压力降低，推理速度显著提升。代价则是数值表示的精度下降，可能引起模型精度损失。因此，量化的核心挑战在于：如何在压缩数值位宽的同时，最小化信息损失。

量化过程可以用一个简单的数学映射来描述。给定一个浮点实数 r，量化后的整数值 q 通过以下公式计算：

q = round(r / scale) + zero_point

其中 scale（缩放因子）是一个浮点数，决定了浮点数值与整数数值之间的比例关系；zero_point（零点）是一个整数，用于处理浮点零值在量化后对应的整数偏移。反量化（dequantization）则是其逆过程：

r ≈ (q - zero_point) × scale

理解这个公式是掌握所有量化技术的基础。无论是 TensorRT 中的 PTQ（训练后量化）还是 QAT（量化感知训练），本质上都是在求解最优的 scale 和 zero_point，并处理量化误差带来的影响。

定点与浮点：数值表示的本质差异

要深入理解量化，必须先厘清定点数与浮点数在计算机中的表示差异。浮点数（如 FP32）由符号位、指数位和尾数位组成，能够动态调整数值范围，因此精度高、动态范围大。但浮点运算硬件复杂度高，功耗和面积开销大。

定点数则使用固定的整数位宽和小数位宽来表示数值。例如，Q7.8 格式表示 7 位整数位和 8 位小数位。定点数的优势在于硬件实现简单、运算速度快，但需要预先确定数值范围，超出范围就会溢出。

在深度学习推理中，INT8 量化本质上就是一种定点表示。我们通过 scale 和 zero_point 将浮点权重映射到定点整数域，后续的矩阵乘法、卷积运算全部在整数域完成，最后再反量化回浮点输出。TensorRT 的 INT8 引擎正是利用了这一原理，将 FP32 的卷积、全连接等算子替换为 INT8 定点算子，从而大幅提升吞吐量。

对称量化与非对称量化：两种核心映射策略

根据 zero_point 的取值，量化分为对称量化和非对称量化两种策略。

对称量化强制 zero_point = 0，即浮点零值精确映射到整数零值。此时量化公式简化为 q = round(r / scale)。对称量化的优点是实现简单，无需存储和计算零点偏移，适合权重分布关于零点对称的情况（如经过 BatchNorm 后的卷积权重）。其缺点是如果激活值分布偏向某一侧（例如 ReLU 输出全为非负），对称量化会浪费一半的量化范围。

非对称量化允许 zero_point 为非零整数，能够更灵活地适配任意分布的数值。它通过 zero_point 将浮点最小值映射到整数最小值，从而充分利用整个整数范围。非对称量化通常用于激活值分布明显偏移的场景，但需要额外存储和计算 zero_point，略微增加推理开销。

选择哪种策略，取决于具体张量的数值分布特征。TensorRT 在 INT8 校准过程中，会针对每一层分别决定使用对称还是非对称量化，以最小化每一层的量化误差。

方法流程：从 FP32 模型到 INT8 引擎的量化管线

在 TensorRT 中实施 INT8 量化，通常遵循以下流程。理解每一步的目的，有助于在实际项目中做出正确决策。

1. 准备校准数据集：选取具有代表性的样本（通常 500~2000 张），覆盖真实推理场景的数据分布。校准集的质量直接影响 scale 的准确性。
2. 运行 FP32 模型前向推理：TensorRT 在校准过程中会以 FP32 精度运行模型，并统计每一层激活值的数值分布范围（最小值和最大值）。
3. 计算 scale 和 zero_point：根据收集到的分布范围，使用指定的校准算法（如 MinMax、Entropy、Percentile）计算最优的 scale 值。
4. 生成 INT8 引擎：TensorRT 将 FP32 权重转换为 INT8 定点权重，并生成优化后的 INT8 推理引擎。
5. 验证精度与性能：使用验证集对比 FP32 与 INT8 的精度差异，同时测量推理延迟和吞吐量。若精度损失超标，需调整校准策略或改用 QAT。

# TensorRT 官方示例：INT8 校准器配置（Python 伪代码）
from cuda import cudart
import tensorrt as trt

# 自定义校准器，继承 trt.IInt8EntropyCalibrator2
class MyCalibrator(trt.IInt8EntropyCalibrator2):
    def __init__(self, calibration_files, batch_size):
        trt.IInt8EntropyCalibrator2.__init__(self)
        self.calibration_files = calibration_files
        self.batch_size = batch_size
        self.batch_idx = 0
        # ... 初始化数据加载器

    def get_batch_size(self):
        return self.batch_size

    def get_batch(self, names):
        # 返回下一批校准数据（GPU 显存指针）
        if self.batch_idx < len(self.calibration_files):
            batch_data = self.load_next_batch()
            self.batch_idx += 1
            return [int(batch_data)]
        else:
            return None

    def read_calibration_cache(self):
        # 若已有缓存，直接读取，避免重复校准
        return None

    def write_calibration_cache(self, cache):
        # 将校准结果写入缓存文件
        with open("calibration.cache", "wb") as f:
            f.write(cache)

# 构建 INT8 引擎
builder = trt.Builder(trt.Logger(trt.Logger.WARNING))
network = builder.create_network()
# ... 解析 ONNX 模型，填充 network ...
config = builder.create_builder_config()
config.set_flag(trt.BuilderFlag.INT8)
config.int8_calibrator = MyCalibrator(calibration_files, batch_size=32)
engine = builder.build_engine(network, config)

案例与场景：实际部署中的量化效果对比

以 ResNet-50 图像分类模型为例，在 NVIDIA A10 GPU 上使用 TensorRT 进行部署。我们对比 FP32、FP16 和 INT8 三种精度的性能与精度表现。

从表中可以看到，INT8 相比 FP32 在吞吐量上提升了约 2.9 倍，而 Top-1 准确率仅下降了 0.23 个百分点。这说明对于该模型，INT8 量化几乎无损。但并非所有模型都如此幸运，对于检测模型（如 YOLO）或分割模型，量化对边界框回归和像素级分类的精度影响可能更显著，需要更细致的校准。

误区与复盘：量化部署中的常见陷阱