3、int8量化原理：对称/非对称量化、量化参数（scale/zero_point）、量化误差来源、per-tensor vs per-channel量化

在CMSIS-NN的int8内核调优中，量化原理是理解一切性能与精度权衡的基石。CMSIS-NN的FC（Fully Connected）层int8内核直接操作的是量化后的定点数，而非浮点数。若不了解量化参数的物理含义、误差传播路径以及不同量化粒度的适用场景，调优将无从下手——你可能在错误地调整内核循环展开次数，而真正的瓶颈却在于激活值分布不均导致的精度损失。本节将系统拆解对称/非对称量化的数学本质、scale与zero_point的确定方法、量化误差的三大来源，以及per-tensor与per-channel量化在CMSIS-NN FC内核中的实际影响。

上图展示了int8量化的完整决策链路：从量化方案选择（对称/非对称）到参数确定（scale/zero_point），再到误差分析与粒度选择，最终落地到CMSIS-NN的arm_fully_connected_s8内核。下面我们将逐一深入每个环节。

3.1 对称量化与非对称量化：数学定义与适用场景

3.1.1 核心原理

对称量化（Symmetric Quantization）将浮点范围映射到以0为中心的整数区间。对于int8，映射关系为：

q = clamp(round(r / s), -128, 127)
s = max(|r_min|, |r_max|) / 127

其中r为浮点值，q为量化后的int8值，s为scale（缩放因子）。对称量化的关键特征是zero_point恒为0，这意味着浮点0精确映射到整数0，无需额外的偏移修正。

非对称量化（Asymmetric Quantization）则允许浮点范围不对称地映射到整数区间：

q = clamp(round(r / s) + z, 0, 255)  // 或 -128~127
s = (r_max - r_min) / 255
z = round(-r_min / s)

这里z（zero_point）是一个非零整数，用于将浮点最小值映射到整数0（或-128）。非对称量化能更精细地利用int8的256个离散级别，尤其当数据分布偏向某一侧时（如ReLU后的激活值恒非负）。

3.1.2 判断方法与操作流程

选择量化方案时，应遵循以下判断流程：

1. 统计分布：对权重和激活值分别绘制直方图，观察是否关于0对称。
2. 计算动态范围：若|r_max| ≈ |r_min|，优先选对称量化；若r_min ≥ 0或r_max ≤ 0，必须用非对称量化。
3. 评估精度损失：在验证集上对比两种方案的top-1准确率差异。
4. 硬件约束：检查目标MCU（如Cortex-M4/M7）的SIMD指令是否支持非对称量化修正。

3.1.3 案例拆解：CIFAR-10小型CNN的量化方案选择

假设我们有一个3层全连接网络（输入512→隐藏256→输出10），在Cortex-M7上部署。初始浮点模型准确率92.3%。

• 初始现象：直接使用对称量化所有张量，准确率降至88.1%。
• 分析过程：检查激活值分布，发现ReLU后第1层激活值范围[0, 6.8]，第2层[0, 4.2]，明显非对称。权重分布则近似对称（[-0.15, 0.12]）。
• 操作步骤：将激活值改为非对称量化（zero_point=round(-0/0.0267)=0，但实际min=0，max=6.8，s=6.8/255=0.0267，z=0），权重保持对称量化。
• 结果对比：准确率回升至91.8%，仅损失0.5%。
• 复盘：激活值的非对称量化保留了更多低位信息，而权重对称量化避免了zero_point修正带来的额外计算。

3.2 量化参数scale与zero_point的精确计算

3.2.1 核心原理

scale（缩放因子）决定了浮点数值与整数步长之间的映射关系。其物理意义是：int8中每变化1个单位，对应浮点数值变化s。zero_point则是浮点0在整数域中的映射位置。

对于int8范围[-128, 127]（对称）或[0, 255]（非对称），计算公式为：

// 对称量化
s = max(|r_min|, |r_max|) / 127

// 非对称量化（8位无符号）
s = (r_max - r_min) / 255
z = round(-r_min / s)

在CMSIS-NN中，这些参数被封装为arm_cmsis_nn_quant_params结构体：

typedef struct {
    int32_t multiplier;  // 定点乘法器，由scale转换而来
    int32_t shift;       // 右移位数
    int32_t offset;      // zero_point（激活值）
} arm_cmsis_nn_quant_params;

值得注意的是，CMSIS-NN不使用浮点scale，而是将其转换为定点乘加对（multiplier + shift），以避免浮点运算。转换公式为：

multiplier = round(scale * 2^shift)
// 其中shift通常取30，保证multiplier在int32范围内

3.2.2 操作流程：从浮点scale到定点参数

1. 计算浮点scale：s = (max-min)/255。
2. 确定shift：选择使scale * 2^shift落在[2^30, 2^31)区间的shift值。
3. 计算multiplier：multiplier = (int32_t)round(s * (1 << shift))。
4. 验证精度：反算s_approx = multiplier / 2^shift，确认误差在0.1%以内。

3.2.3 实战场景：FC层权重scale计算

假设某FC层权重矩阵形状为[256, 512]，浮点权重范围[-0.12, 0.15]。

// 对称量化
s = max(0.12, 0.15) / 127 = 0.15/127 ≈ 0.001181
// 转换为定点
shift = 30
multiplier = round(0.001181 * 2^30) = round(1268352.5) = 1268353
// 反算误差
s_approx = 1268353 / 2^30 = 0.0011810003
// 相对误差 = (0.0011810003 - 0.001181)/0.001181 ≈ 0.00003%

该精度损失可忽略。但若权重范围极小（如[-0.001, 0.001]），则s=0.001/127≈7.87e-6，multiplier=round(7.87e-6 * 2^30)=8454，此时量化步长过大，需要per-channel量化。

3.3 量化误差来源：舍入、截断与参数误差

3.3.1 核心原理

量化误差主要来自三个环节：

• 舍入误差（Rounding Error）：浮点值映射到整数时，round()操作引入的误差，最大为0.5个量化步长（0.5s）。
• 截断误差（Clipping Error）：超出量化范围的浮点值被饱和截断到边界值（-128或127），误差可达数百个步长。
• 参数误差（Parameter Error）：scale和zero_point本身的近似计算（如定点转换）引入的误差，通常较小但会累积。

在FC层中，误差通过矩阵乘法累积：y = Wx + b，权重误差和激活误差会相乘并累加。假设权重量化误差为ε_w，激活误差为ε_x，则输出误差近似为：

ε_y ≈ Σ(ε_w * x + w * ε_x + ε_w * ε_x)

当网络层数加深时，误差逐层放大，最终影响分类精度。

3.3.2 误差分析与调优方法

3.3.3 案例：FC层输出误差定位

某语音唤醒词模型在量化后误唤醒率从0.5%升至3.2%。排查过程：

1. 逐层计算量化前后输出的余弦相似度，发现第2个FC层相似度仅0.82。
2. 检查该层权重分布：存在少量极端值（-0.8），导致s=0.8/127=0.0063，而99%的权重集中在[-0.1, 0.1]。
3. 改用99.9%分位截断：s=0.1/127=0.000787，有效精度提升8倍。
4. 重新量化后，余弦相似度升至0.97，误唤醒率降至0.7%。

3.4 per-tensor vs per-channel量化：粒度与性能的权衡

3.4.1 核心原理

per-tensor量化（逐张量量化）为整个权重张量使用一个scale和zero_point。而per-channel量化（逐通道量化）为每个输出通道独立计算scale和zero_point。对于FC层，权重形状为[out_channels, in_channels]，per-channel即为每个输出通道一行权重单独量化。

per-channel量化的优势在于：不同输出通道的权重分布差异较大时，能显著降低量化误差。代价是：

• 需要存储多个scale（每个通道一个），增加内存开销。
• 推理时需要按通道进行反量化/再量化，计算复杂度增加。
• CMSIS-NN的arm_fully_connected_s8默认支持per-tensor，per-channel需使用arm_fully_connected_s8_per_channel变体。

3.4.2 选择判断流程

1. 计算各通道权重的动态范围比：ratio = max_channel_range / min_channel_range。
2. 若ratio > 10，强烈建议per-channel。
3. 若ratio在3~10之间，需在精度和性能间权衡。
4. 若ratio < 3，per-tensor足够。

3.4.3 案例：MobileNetV1 FC层量化对比

在Cortex-M7上部署MobileNetV1（最后一个FC层1024→1000）。

• 初始方案：per-tensor量化，准确率68.2%（浮点为72.5%）。
• 分析：检查权重分布，发现1000个输出通道中，约15%的通道权重范围是其他通道的20倍以上。
• 改进：改用per-channel量化，准确率提升至71.8%。
• 性能代价：FC层推理时间从0.8ms增至1.2ms（增加50%），但整体模型仍满足实时性要求（总推理时间12ms）。
• 复盘：per-channel量化在精度收益显著时值得性能代价。若性能敏感，可考虑混合方案：对动态范围比大的通道组使用per-channel，其余保持per-tensor。

3.5 综合调优策略与常见误区

3.5.1 调优流程清单

1. 统计权重和激活值的分布直方图。
2. 根据分布选择对称/非对称方案。
3. 计算scale和zero_point，并转换为CMSIS-NN的定点格式。
4. 评估各层量化误差（余弦相似度或KL散度）。
5. 对误差大的层，尝试per-channel量化或百分位截断。
6. 在目标硬件上验证精度和延迟。

3.5.2 常见误区

3.5.3 总结复盘

int8量化不是简单的数值映射，而是一个涉及统计分布、硬件指令集和误差传播的系统工程。在CMSIS-NN FC内核调优中，建议遵循以下优先级：

1. 先保证量化方案正确（对称/非对称选择）。
2. 再优化scale精度（定点转换、百分位截断）。
3. 最后考虑per-channel量化（仅当精度仍不达标时）。