📚 课程目录第3章量化基础概念

3. 量化基础概念

在TinyML语音量化部署中，理解量化（Quantization）的底层数学原理是保护模型精度的前提。MCU（微控制器）通常不具备FPU（浮点运算单元）或仅有性能有限的单精度FPU，因此将32位浮点（FP32）权重与激活值映射为8位整数（Int8）是部署的关键步骤。本章将系统拆解浮点与定点的本质差异、对称/非对称量化的数学逻辑、量化参数（scale与zero-point）的确定方法，以及Int8量化在语音特征提取和神经网络推理中的具体作用机制。

3.1 浮点与定点表示：MCU上的数值存储差异

浮点数（Floating-point）采用科学计数法存储，由符号位、指数位和尾数位组成。以FP32为例，其内存布局为1位符号、8位指数、23位尾数，可表示约1.18e-38到3.4e38的动态范围，且精度随数值大小动态变化。这种设计在通用处理器上非常高效，但在Cortex-M0/M4等MCU上，浮点运算要么需要软件模拟（速度极慢），要么依赖昂贵的硬件FPU（增加芯片面积与功耗）。

定点数（Fixed-point）则完全不同，它使用整数配合固定缩放因子来表示实数。例如，Q7格式表示1位符号加7位整数部分，Q15格式表示1位符号加15位小数部分。在Int8量化中，我们通常使用Q7格式（范围-128到127）或Q0.7格式（纯小数）。定点运算在MCU上只需整数ALU即可完成，速度比浮点快5-10倍，功耗降低一个数量级。

  核心原理：量化本质上是将浮点张量映射到低比特整数空间，映射关系由scale和zero-point两个参数唯一确定。对于语音信号，其幅值通常在[-1, 1]之间，经过MFCC（梅尔频率倒谱系数）提取后，特征值分布往往集中在零附近且具有长尾效应，这直接影响量化参数的选择。

3.2 对称量化与非对称量化：数学定义与适用场景

对称量化（Symmetric Quantization）要求浮点零值精确映射到整数零值，即zero-point固定为0。其映射公式为：

r = S * q
S = max(|r_min|, |r_max|) / 127

其中r为浮点值，q为Int8整数，S为scale。对称量化的优势在于计算简单，无需额外处理zero-point偏移，适合权重（weights）的量化，因为训练后的权重通常关于零对称分布。但缺点是当数据分布严重偏向一侧时（如ReLU激活后的特征图全为正），会浪费一半的量化范围。

非对称量化（Asymmetric Quantization）允许浮点零映射到任意整数zero-point，公式为：

r = S * (q - Z)
S = (r_max - r_min) / 255
Z = round(r_min / S) 或 round(-r_min / S)

非对称量化能充分利用Int8的256个离散级别，特别适合激活值（activations）的量化，因为语音特征经过ReLU或Sigmoid后往往呈现单侧分布。但代价是推理时需要额外执行一次整数减法操作，且zero-point的舍入误差可能累积。

对比维度	对称量化	非对称量化
Zero-point值	恒为0	任意整数（通常非0）
量化范围利用率	低（若分布偏斜）	高（自适应分布）
计算复杂度	低（无偏移修正）	中（需减法操作）
典型应用	权重、偏置	激活值、特征图
硬件支持	多数DSP指令原生支持	需额外指令或软件处理

3.3 量化参数Scale与Zero-point的确定方法

确定scale和zero-point的核心是统计浮点张量的数值范围。实际操作中，我们采用以下流程：

收集统计量：在验证集上运行浮点模型，记录每一层权重和激活值的最大/最小值（或使用百分位数，如99.99%分位以排除异常值）。
计算scale：对于对称量化，scale = max(|min|, |max|) / 127；对于非对称量化，scale = (max - min) / 255。
计算zero-point：对称时Z=0；非对称时Z = round(-min / scale)，并钳位到[-128, 127]。
校准优化：使用KL散度或熵最小化方法，在少量校准数据上迭代调整scale，使量化前后的分布差异最小。

实战经验：在语音唤醒词模型中，第一层MFCC特征图的动态范围通常较大（可能超过10倍），而深层特征图范围逐渐收敛。建议对每层单独统计并设置量化参数，而非使用全局统一scale，这能显著减少精度损失。

3.4 Int8量化原理：从浮点推理到整数推理的完整链路

Int8量化推理的核心思想是将浮点运算中的乘加操作转换为整数乘加，并利用scale的数学性质简化计算。考虑一个典型的全连接层：y = Wx + b，其中W为权重矩阵，x为输入激活，b为偏置。量化后，浮点值可表示为：

x = S_x * (q_x - Z_x)
W = S_w * (q_w - Z_w)
y = S_y * (q_y - Z_y)

代入并展开，经过数学推导，我们可以将浮点乘加转换为整数运算：

q_y = (S_w * S_x / S_y) * Σ(q_w - Z_w)(q_x - Z_x) + Z_y

其中(S_w * S_x / S_y)是一个浮点缩放因子，通常预先计算并量化为定点数（如Int16或Int32）。这样，推理过程中的主要计算就变成了Int8乘法和Int32累加，最后通过一次移位和加法得到输出。在Cortex-M4等带有SIMD指令的MCU上，这种运算可以并行处理多个数据，大幅提升吞吐量。

风险提示：偏置（bias）通常不量化到Int8，而是保留为Int32精度，因为偏置的累加误差会直接影响输出精度。此外，当使用非对称量化时，zero-point的减法操作必须在累加之前完成，否则会产生严重的数值漂移。

3.5 案例拆解：语音唤醒词模型的Int8量化部署

我们以一款基于Cortex-M4F（带FPU）的语音唤醒词设备为例，模型为两层卷积+两层全连接的小型网络，输入为40维MFCC特征（10帧拼接）。初始浮点模型在测试集上准确率为95.2%，但直接转换为Int8后准确率骤降至88.7%。

问题分析：通过逐层对比量化前后激活值的分布，发现第一层卷积的输出特征图存在明显的长尾分布，最大值是P99分位数的3.2倍。使用全局max/min统计时，scale被异常值拉大，导致正常特征值的量化步长过大，信息丢失严重。

解决方案：采用百分位数校准策略，将统计范围从100%分位改为99.9%分位，并针对第一层单独设置非对称量化参数。同时，将偏置保留为Int32精度，并在卷积层后增加一个轻量的clip操作，限制极端值的影响。

实施步骤：

在1000条验证语音上收集每层激活值的直方图。
计算P99.9和P0.1作为非对称量化的min/max。
使用KL散度优化scale，迭代5次。
将权重采用对称量化（Z=0），激活采用非对称量化。
在MCU上实现整数推理内核，使用Int32累加器。

结果对比：优化后Int8模型准确率回升至94.6%，仅下降0.6个百分点。推理时间从浮点模式的12.3ms降至Int8模式的3.1ms，功耗降低62%。代价是Flash占用增加了约2KB（用于存储每层的scale和zero-point表），RAM占用基本不变。

复盘经验：量化参数的选择不能一刀切，必须结合数据分布特征。对于语音信号，短时能量变化大，特征值动态范围广，建议使用非对称量化处理激活值，对称量化处理权重。同时，校准数据集应覆盖不同说话人、不同环境噪声场景，避免过拟合到特定声学条件。

3.6 常见误区与总结

误区一：认为Int8量化只是简单地将浮点除以255。实际上，scale和zero-point需要逐层统计，且要考虑数据分布形状。
误区二：忽略zero-point的存在。在非对称量化中，忘记减去zero-point会导致输出偏移，且该误差会逐层放大。
误区三：对所有层使用相同的量化参数。不同层的特征分布差异巨大，统一参数会严重损害精度。
误区四：在量化后不做任何微调（fine-tuning）。对于小模型，量化感知训练（QAT）通常比训练后量化（PTQ）效果更好。

总结而言，Int8量化是TinyML语音部署的核心技术，其本质是在有限整数精度下重新表达浮点计算。掌握对称/非对称量化的数学原理、scale与zero-point的统计方法，以及整数推理的运算链路，是确保模型在MCU上保持高精度的基础。下一阶段，我们将深入探讨量化感知训练的具体实现技巧，以及如何在语音任务中平衡模型大小与精度。