2、量化基础：掌握模型量化的基本概念，包括定点与浮点、量化参数（scale、zero-point）、对称与非对称量化

在V853这类端侧AI芯片上部署深度学习模型时，INT8量化是连接“训练好的浮点模型”与“可高效运行的硬件加速器”之间的关键桥梁。V853内置的NPU（神经网络处理单元）虽然支持浮点运算，但为了在有限的功耗和带宽下获得更高的算力，其核心计算单元通常以INT8定点运算为主。理解量化基础，不仅是为了让模型“能跑”，更是为了在精度损失可控的前提下，把硬件性能压榨到极致。本节将从数学定义、参数推导到实际部署中的选择逻辑，系统梳理量化的核心概念。

上图展示了量化知识体系的三大支柱：数值表示、量化参数和量化策略。在实际部署中，这三者并非孤立，而是层层递进的关系——首先需要理解浮点与定点的本质差异，然后掌握scale和zero-point如何完成数值映射，最后根据硬件特性和模型分布选择合适的对称或非对称策略。下面我们逐一深入拆解。

2.1 定点与浮点：为什么INT8能跑深度学习

计算机中的数值表示主要分为浮点（Floating Point）和定点（Fixed Point）两大类。浮点数通过科学计数法表示，由符号位、指数位和尾数位组成，例如FP32（32位浮点数）能表示从约-3.4×10³⁸到3.4×10³⁸的极大动态范围，且精度随数值大小动态变化。而定点数则是固定小数点位，例如INT8（8位整数）只能表示-128到127的整数，没有小数部分，动态范围极其有限。

深度学习模型在训练阶段必须使用FP32甚至FP16，因为反向传播需要高精度的梯度计算。但在推理阶段，前向传播中的权重和激活值经过训练后，其分布通常集中在一个较小的范围内（例如-1.0到1.0之间）。这就为量化提供了理论基础：我们不需要用32位去精确表示一个本来就集中在[-1, 1]区间的数值，用8位整数配合一个缩放因子就足够了。

在V853的实际部署中，我们通常关注两个关键指标：权重（Weights）和激活值（Activations）。权重在训练完成后是固定的，可以离线量化；而激活值在推理时随输入变化，需要在线统计其范围。这也是后续章节中校准（Calibration）要解决的核心问题。

2.2 量化参数：scale与zero-point的数学本质

量化参数是连接浮点域和整数域的桥梁。假设我们有一个浮点实数 r，要将其转换为整数 q，需要两个参数：缩放因子（scale，记作s）和零点（zero-point，记作z）。其数学关系为：

r = s × (q - z)

其中，s 是一个正的浮点数，表示每个整数单位代表的浮点大小；z 是一个整数，表示浮点值0对应的整数表示。反过来，从浮点转整数的公式为：

q = round(r / s) + z

这里需要特别注意的是零点的作用。在非对称量化中，浮点0必须精确映射到整数z，因为神经网络中大量存在padding（填充0）和ReLU（修正线性单元）操作，如果0不能被精确表示，会导致精度显著下降。

参数	符号	数据类型	作用	典型值
缩放因子	s	FP32	确定量化步长	0.001 ~ 0.1
零点	z	INT8	确保浮点0精确映射	-128 ~ 127
浮点最小值	r_min	FP32	确定量化范围下界	-1.0
浮点最大值	r_max	FP32	确定量化范围上界	1.0

计算scale和zero-point的标准方法如下：

s = (r_max - r_min) / (q_max - q_min)
z = round(q_min - r_min / s)

其中，对于INT8，q_max = 127，q_min = -128。例如，若某层激活值的统计范围为[-0.5, 1.5]，则：

s = (1.5 - (-0.5)) / (127 - (-128)) = 2.0 / 255 ≈ 0.00784
z = round(-128 - (-0.5) / 0.00784) = round(-128 + 63.78) = round(-64.22) = -64

这意味着浮点值0对应的整数是-64，而非0。这种非对称映射能更充分地利用INT8的256个离散级别，减少量化误差。

2.3 对称量化与非对称量化：V853 NPU的取舍

根据zero-point是否为0，量化策略分为对称量化和非对称量化两种。

对称量化强制 z = 0，即浮点0精确映射到整数0。此时公式简化为 r = s × q。其优点是计算简单，硬件实现时无需额外的零点偏移运算，适合权重这类分布相对对称的数值。但缺点是如果数据分布偏向一侧（例如ReLU后的激活值全为正），对称量化会浪费一半的整数表示范围。

非对称量化允许 z ≠ 0，能更灵活地匹配数据分布。对于激活值这种经过ReLU后全为正数的张量，非对称量化可以将[0, 1.5]映射到[-128, 127]，充分利用全部整数范围，从而降低量化误差。

在实际工程中，选择哪种策略需要综合考虑：

• 硬件支持：查阅V853 NPU的指令集文档，确认是否支持非对称激活量化。
• 数据分布：通过直方图统计各层激活值的分布，若明显偏置则优先非对称。
• 精度敏感度：对精度要求高的层（如最后的全连接层）建议使用非对称量化。

2.4 案例拆解：V853上MobileNet的量化参数分析

为了更直观地理解上述概念，我们以在V853上部署MobileNetV1为例进行说明。MobileNetV1的核心是深度可分离卷积，其权重和激活值的分布具有典型特征。

背景与目标：我们需要将训练好的FP32 MobileNetV1（ImageNet精度约70.5%）量化为INT8，目标精度损失不超过1%。

关键输入数据：使用1000张验证集图片进行校准，统计每层的激活值范围。以下是第3个深度卷积层（Depthwise Conv）的统计结果：

权重分布：min = -0.312, max = 0.298, mean ≈ 0.0（对称）
激活分布：min = 0.0, max = 1.872, mean = 0.45（非对称，全为正）

分析判断过程：

1. 权重分布接近对称，采用对称量化，s_weight = (0.298 - (-0.312)) / 255 ≈ 0.00239，z_weight = 0。
2. 激活分布全为正，若采用对称量化，则s_act = 1.872 / 127 ≈ 0.01474，但负半轴的整数范围全部浪费，实际有效分辨率仅为正半轴的127个级别。
3. 改用非对称量化，s_act = 1.872 / 255 ≈ 0.00734，z_act = round(-128 - 0/0.00734) = -128。这样256个整数级别全部用于表示[0, 1.872]区间，分辨率提升一倍。

实际操作步骤：在V853的模型转换工具链中，通过配置文件指定量化策略：

# quant_config.cfg
[quantization]
algorithm = "min_max"  # 使用最小最大值校准
weight_quant_type = "symmetric"   # 权重对称量化
activation_quant_type = "asymmetric"  # 激活非对称量化
calibration_images = "./calib_set/"

结果对比：采用上述配置后，INT8模型的Top-1精度为69.8%，损失0.7%，满足要求。若强行使用对称量化激活，精度降至68.9%，损失1.6%，超出容忍范围。

风险与代价：非对称量化虽然精度更好，但NPU计算时需要额外的零点偏移修正，会增加少量计算开销。实测V853 NPU推理延迟从对称量化的12.3ms增加到12.8ms，增加约4%。在实时性要求极高的场景下，需要权衡精度与速度。

2.5 常见误区与复盘

在量化基础概念的理解上，初学者常犯以下错误：

• 误区一：认为量化就是简单的四舍五入。实际上，量化是一个带范围的映射过程，需要精心选择scale和zero-point，否则会引入巨大误差。
• 误区二：忽略zero-point的作用。在ReLU网络中，如果zero-point计算错误，会导致所有负值被错误映射，精度崩溃。
• 误区三：对称量化一定比非对称差。对于权重这类分布对称的张量，对称量化不仅精度相当，而且计算更快。
• 误区四：所有层使用相同的量化参数。不同层的激活值范围差异巨大，必须逐层统计和配置。

复盘V853项目经验，一个典型的失败案例是：工程师在量化时直接使用训练框架（如PyTorch）的默认量化配置，未针对V853 NPU的硬件特性调整。结果模型在PC上模拟精度正常，但部署到V853后精度骤降。原因在于PC模拟器默认使用非对称量化，而V853 NPU的某些算子（如LeakyReLU）仅支持对称量化，导致激活值被错误截断。解决方法是查阅硬件算子支持表，对不支持的算子手动插入QDQ（量化-反量化）节点，或改用对称量化并接受少量精度损失。