3、量化基础概念：浮点与定点表示、对称/非对称量化、量化参数（scale、zero-point）、Int8量化原理
在TinyML语音量化部署中，理解量化（Quantization）的底层数学原理是保护模型精度的前提。MCU（微控制器）通常不具备FPU（浮点运算单元）或仅有性能有限的单精度FPU，因此将32位浮点（FP32）权重与激活值映射为8位整数（Int8）是部署的关键步骤。本章将系统拆解浮点与定点的本质差异、对称/非对称量化的数学逻辑、量化参数（scale与zero-point）的确定方法，以及Int8量化在语音特征提取和神经网络推理中的具体作用机制。
3.1 浮点与定点表示：MCU上的数值存储差异
浮点数（Floating-point）采用科学计数法存储，由符号位、指数位和尾数位组成。以FP32为例，其内存布局为1位符号、8位指数、23位尾数，可表示约1.18e-38到3.4e38的动态范围，且精度随数值大小动态变化。这种设计在通用处理器上非常高效，但在Cortex-M0/M4等MCU上，浮点运算要么需要软件模拟（速度极慢），要么依赖昂贵的硬件FPU（增加芯片面积与功耗）。
定点数（Fixed-point）则完全不同，它使用整数配合固定缩放因子来表示实数。例如，Q7格式表示1位符号加7位整数部分，Q15格式表示1位符号加15位小数部分。在Int8量化中，我们通常使用Q7格式（范围-128到127）或Q0.7格式（纯小数）。定点运算在MCU上只需整数ALU即可完成，速度比浮点快5-10倍，功耗降低一个数量级。
3.2 对称量化与非对称量化：数学定义与适用场景
对称量化（Symmetric Quantization）要求浮点零值精确映射到整数零值，即zero-point固定为0。其映射公式为：
r = S * q
S = max(|r_min|, |r_max|) / 127其中r为浮点值，q为Int8整数，S为scale。对称量化的优势在于计算简单，无需额外处理zero-point偏移，适合权重（weights）的量化，因为训练后的权重通常关于零对称分布。但缺点是当数据分布严重偏向一侧时（如ReLU激活后的特征图全为正），会浪费一半的量化范围。
非对称量化（Asymmetric Quantization）允许浮点零映射到任意整数zero-point，公式为：
r = S * (q - Z)
S = (r_max - r_min) / 255
Z = round(r_min / S) 或 round(-r_min / S)非对称量化能充分利用Int8的256个离散级别，特别适合激活值（activations）的量化，因为语音特征经过ReLU或Sigmoid后往往呈现单侧分布。但代价是推理时需要额外执行一次整数减法操作，且zero-point的舍入误差可能累积。
| 对比维度 | 对称量化 | 非对称量化 |
|---|---|---|
| Zero-point值 | 恒为0 | 任意整数（通常非0） |
| 量化范围利用率 | 低（若分布偏斜） | 高（自适应分布） |
| 计算复杂度 | 低（无偏移修正） | 中（需减法操作） |
| 典型应用 | 权重、偏置 | 激活值、特征图 |
| 硬件支持 | 多数DSP指令原生支持 | 需额外指令或软件处理 |
3.3 量化参数Scale与Zero-point的确定方法
确定scale和zero-point的核心是统计浮点张量的数值范围。实际操作中，我们采用以下流程：
- 收集统计量：在验证集上运行浮点模型，记录每一层权重和激活值的最大/最小值（或使用百分位数，如99.99%分位以排除异常值）。
- 计算scale：对于对称量化，scale = max(|min|, |max|) / 127；对于非对称量化，scale = (max - min) / 255。
- 计算zero-point：对称时Z=0；非对称时Z = round(-min / scale)，并钳位到[-128, 127]。
- 校准优化：使用KL散度或熵最小化方法，在少量校准数据上迭代调整scale，使量化前后的分布差异最小。
3.4 Int8量化原理：从浮点推理到整数推理的完整链路
Int8量化推理的核心思想是将浮点运算中的乘加操作转换为整数乘加，并利用scale的数学性质简化计算。考虑一个典型的全连接层：y = Wx + b，其中W为权重矩阵，x为输入激活，b为偏置。量化后，浮点值可表示为：
x = S_x * (q_x - Z_x)
W = S_w * (q_w - Z_w)
y = S_y * (q_y - Z_y)代入并展开，经过数学推导，我们可以将浮点乘加转换为整数运算：
q_y = (S_w * S_x / S_y) * Σ(q_w - Z_w)(q_x - Z_x) + Z_y其中(S_w * S_x / S_y)是一个浮点缩放因子，通常预先计算并量化为定点数（如Int16或Int32）。这样，推理过程中的主要计算就变成了Int8乘法和Int32累加，最后通过一次移位和加法得到输出。在Cortex-M4等带有SIMD指令的MCU上，这种运算可以并行处理多个数据，大幅提升吞吐量。
3.5 案例拆解：语音唤醒词模型的Int8量化部署
我们以一款基于Cortex-M4F（带FPU）的语音唤醒词设备为例，模型为两层卷积+两层全连接的小型网络，输入为40维MFCC特征（10帧拼接）。初始浮点模型在测试集上准确率为95.2%，但直接转换为Int8后准确率骤降至88.7%。
问题分析：通过逐层对比量化前后激活值的分布，发现第一层卷积的输出特征图存在明显的长尾分布，最大值是P99分位数的3.2倍。使用全局max/min统计时，scale被异常值拉大，导致正常特征值的量化步长过大，信息丢失严重。
解决方案：采用百分位数校准策略，将统计范围从100%分位改为99.9%分位，并针对第一层单独设置非对称量化参数。同时，将偏置保留为Int32精度，并在卷积层后增加一个轻量的clip操作，限制极端值的影响。
实施步骤：
- 在1000条验证语音上收集每层激活值的直方图。
- 计算P99.9和P0.1作为非对称量化的min/max。
- 使用KL散度优化scale，迭代5次。
- 将权重采用对称量化（Z=0），激活采用非对称量化。
- 在MCU上实现整数推理内核，使用Int32累加器。
结果对比：优化后Int8模型准确率回升至94.6%，仅下降0.6个百分点。推理时间从浮点模式的12.3ms降至Int8模式的3.1ms，功耗降低62%。代价是Flash占用增加了约2KB（用于存储每层的scale和zero-point表），RAM占用基本不变。
复盘经验：量化参数的选择不能一刀切，必须结合数据分布特征。对于语音信号，短时能量变化大，特征值动态范围广，建议使用非对称量化处理激活值，对称量化处理权重。同时，校准数据集应覆盖不同说话人、不同环境噪声场景，避免过拟合到特定声学条件。
3.6 常见误区与总结
- 误区一：认为Int8量化只是简单地将浮点除以255。实际上，scale和zero-point需要逐层统计，且要考虑数据分布形状。
- 误区二：忽略zero-point的存在。在非对称量化中，忘记减去zero-point会导致输出偏移，且该误差会逐层放大。
- 误区三：对所有层使用相同的量化参数。不同层的特征分布差异巨大，统一参数会严重损害精度。
- 误区四：在量化后不做任何微调（fine-tuning）。对于小模型，量化感知训练（QAT）通常比训练后量化（PTQ）效果更好。
总结而言，Int8量化是TinyML语音部署的核心技术，其本质是在有限整数精度下重新表达浮点计算。掌握对称/非对称量化的数学原理、scale与zero-point的统计方法，以及整数推理的运算链路，是确保模型在MCU上保持高精度的基础。下一阶段，我们将深入探讨量化感知训练的具体实现技巧，以及如何在语音任务中平衡模型大小与精度。