2、量化基础：定点数与浮点数表示，线性量化与非线性量化，对称量化与非对称量化，INT8量化公式与参数（scale、zero-point）
在深入TensorRT INT8量化之前，必须先建立扎实的数值表示基础。深度学习模型在训练阶段通常使用FP32（32位浮点数）存储权重和激活值，其动态范围可达约1e-38到3.4e38，精度极高。然而，推理部署场景对延迟和内存带宽有严苛要求，FP32的4字节存储和计算开销成为瓶颈。INT8量化正是将FP32数值映射到8位整数（-128到127或0到255）的过程，从而将模型体积缩小4倍，推理速度提升2-4倍。但这一压缩过程并非无损，理解定点数与浮点数的本质差异、线性与非线性量化的取舍、对称与非对称量化的适用场景，以及scale和zero-point两个核心参数的数学含义，是正确使用TensorRT INT8量化的前提。
2.1 定点数与浮点数：数值表示的底层逻辑
核心原理：浮点数（Floating-Point）采用科学计数法的二进制形式，由符号位（Sign）、指数位（Exponent）和尾数位（Mantissa）组成。以FP32为例，其32位分布为：1位符号、8位指数、23位尾数。这种设计使得浮点数能够以极高的精度表示接近零的小数，同时也能表示极大的数值，动态范围非常宽广。然而，浮点数的计算单元复杂，占用芯片面积大，功耗高，且内存带宽需求大。
定点数（Fixed-Point）则完全不同，它使用固定的整数位和小数位来表示数值。INT8作为典型的定点数，只有8位，有符号时范围为[-128, 127]，无符号时为[0, 255]。定点数的优势在于硬件实现简单、计算速度快、内存占用小，但代价是动态范围和精度都受到严格限制。在深度学习推理中，权重和激活值的分布通常集中在零附近的小范围内，这为使用INT8定点数近似FP32浮点数提供了可行性基础。
2.2 线性量化与非线性量化：映射策略的差异
核心原理：线性量化（Linear Quantization）采用均匀的映射关系，将浮点数值范围均匀地分割成若干个区间，每个区间映射到一个整数。其数学表达式为：q = round(r / scale) + zero_point，其中scale是缩放因子，zero_point是零点偏移。线性量化的特点是实现简单、硬件友好，所有区间使用相同的精度分辨率。
非线性量化（Non-Linear Quantization）则采用非均匀的映射策略，例如对数量化、幂次量化等。在数值分布极不均匀的场景下（如某些激活值呈长尾分布），非线性量化可以在数值密集区域分配更多量化级别，提高局部精度。然而，非线性量化在硬件上的实现复杂度显著增加，TensorRT目前主要支持线性量化方案，因此本文重点讨论线性量化。
| 对比维度 | 线性量化 | 非线性量化 |
|---|---|---|
| 映射方式 | 均匀等间隔映射 | 非均匀映射（对数、幂次等） |
| 硬件实现 | 简单，支持高效SIMD指令 | 复杂，需要查找表或特殊硬件 |
| 精度分布 | 全范围均匀精度 | 数值密集区精度高，稀疏区精度低 |
| TensorRT支持 | ✅ 原生支持 | ❌ 不直接支持 |
| 适用场景 | 权重/激活值分布相对均匀 | 极端长尾分布（极少见） |
2.3 对称量化与非对称量化：zero-point的角色
核心原理：对称量化（Symmetric Quantization）要求浮点数值范围关于零点对称，即r_min = -r_max，此时zero_point恒等于0。这种方案的优势在于量化公式简化为q = round(r / scale)，计算量更小，且不需要额外存储zero_point参数。对称量化特别适合权重参数的量化，因为训练后的权重分布通常近似于以零为中心的高斯分布。
非对称量化（Asymmetric Quantization）允许浮点数值范围不关于零点对称，即r_min ≠ -r_max，此时zero_point不为0。非对称量化能够更充分地利用INT8的256个量化级别，尤其适合激活值的量化——激活值经过ReLU等激活函数后往往全部为非负值，使用非对称量化可以避免浪费一半的量化范围。
2.4 INT8量化公式与参数详解
核心公式：INT8线性量化的完整数学定义如下：
// 量化（FP32 → INT8）
q = clamp(round(r / scale) + zero_point, q_min, q_max)
// 反量化（INT8 → FP32）
r_dequant = (q - zero_point) × scale
// 参数计算
scale = (r_max - r_min) / (q_max - q_min)
zero_point = q_min - round(r_min / scale)
// 其中：
// r 为原始浮点值，q 为量化后的整数值
// q_min = -128, q_max = 127（有符号INT8）
// q_min = 0, q_max = 255（无符号INT8）
// clamp函数将结果限制在[q_min, q_max]范围内scale（缩放因子）：scale决定了每个量化级别代表的浮点数值大小，即量化分辨率。scale越小，量化精度越高，但可表示的浮点范围越小。scale的计算依赖于浮点数值的实际范围[r_min, r_max]，这个范围通常通过校准集（Calibration Set）统计得到。
zero-point（零点偏移）：zero_point是浮点数值0对应的量化整数值。在对称量化中，zero_point恒为0；在非对称量化中，zero_point用于对齐浮点零点和整数零点，确保浮点0能够被精确表示，避免量化过程中的偏差累积。
2.5 案例拆解：一个卷积层的INT8量化全过程
场景背景：假设我们有一个训练好的卷积层，其权重分布范围为[-0.5, 0.5]，激活值（经过ReLU后）分布范围为[0.0, 6.0]。目标是将该层量化为INT8以部署到TensorRT。
关键输入数据：
- 权重范围：r_min = -0.5, r_max = 0.5
- 激活值范围：r_min = 0.0, r_max = 6.0
- 量化位宽：8位，有符号（q_min = -128, q_max = 127）
分析判断过程：
- 权重量化（对称）：由于权重分布关于零点对称，采用对称量化。计算scale = (0.5 - (-0.5)) / (127 - (-128)) = 1.0 / 255 ≈ 0.00392，zero_point = 0。
- 激活值量化（非对称）：激活值全为非负，采用非对称量化。计算scale = (6.0 - 0.0) / (127 - (-128)) = 6.0 / 255 ≈ 0.02353，zero_point = -128 - round(0.0 / 0.02353) = -128。
- 精度评估：权重量化后的最大误差为scale/2 ≈ 0.00196，激活值量化后的最大误差为scale/2 ≈ 0.01176。对于该层而言，激活值的量化误差相对较大，但考虑到激活值范围较大，相对误差仍在可接受范围内。
实际操作步骤：
// 权重量化示例（Python伪代码）
import numpy as np
# 权重数据
weights = np.random.uniform(-0.5, 0.5, size=(64, 3, 3, 3)).astype(np.float32)
# 对称量化
scale_w = (0.5 - (-0.5)) / 255.0 # ≈ 0.00392
quantized_w = np.clip(np.round(weights / scale_w), -128, 127).astype(np.int8)
# 激活值量化（非对称）
activations = np.random.uniform(0.0, 6.0, size=(1, 64, 32, 32)).astype(np.float32)
scale_a = 6.0 / 255.0 # ≈ 0.02353
zero_point_a = -128
quantized_a = np.clip(np.round(activations / scale_a) + zero_point_a, -128, 127).astype(np.int8)结果对比与复盘：量化后的模型在TensorRT上推理，精度损失约为0.3%（以Top-1准确率衡量），推理速度提升2.8倍，模型体积缩小4倍。复盘发现，激活值的量化误差是主要精度损失来源，后续通过使用更精确的校准集（覆盖更多真实数据分布）来优化scale和zero_point的估计，精度损失进一步降低到0.1%。
2.6 常见误区与总结复盘
误区一：认为量化范围越大越好。实际上，量化范围过大会导致scale增大，量化精度降低。正确的做法是根据实际数据分布选择合适的范围，必要时进行截断（Clipping）以牺牲少量极端值换取整体精度的提升。
误区二：忽视zero_point的作用。在非对称量化中，zero_point的微小偏差会导致反量化后的浮点值整体偏移，累积到深层网络后可能造成显著误差。务必确保zero_point计算准确，并在反量化时正确使用。
误区三：对所有层使用相同的量化策略。不同层的权重和激活值分布差异很大，应针对每层分别计算scale和zero_point。TensorRT的校准过程正是逐层统计最优量化参数的。