3、模型量化基础：量化概念、定点与浮点、对称/非对称量化、量化感知训练（QAT）与训练后量化（PTQ）的区别

在智能音箱的端侧部署场景中，KWS（Keyword Spotting，关键词唤醒）模型通常运行在算力受限的MCU或低功耗DSP上。这些处理器往往不具备高效的浮点运算单元，甚至完全没有FPU。为了让KWS模型能够在这些硬件上实时运行，我们必须将训练好的32位浮点（FP32）权重和激活值转换为低比特宽度的整数表示，这一过程就是模型量化。量化不仅是简单的数值截断，它涉及数值表示、误差控制、校准策略和训练流程的深度调整。本章将从量化基本概念出发，厘清定点与浮点的本质差异，剖析对称与非对称量化的数学原理，并重点对比QAT与PTQ两种工程路径的适用场景与操作要点。

数值表示 量化映射 工程路径 FP32 浮点 动态范围大 INT8 定点 硬件高效 对称量化 zero=0 非对称量化 zero≠0 PTQ 训练后量化 QAT 量化感知训练 浮点：符号位+指数+尾数 定点：整数部分+小数部分（Q格式） scale + zero_point r = scale × (q - zero_point) PTQ：无需训练，需校准集 QAT：训练中模拟量化误差 KWS模型部署：FP32 → INT8，精度损失 < 2%

上图展示了量化部署的核心知识框架：左侧是数值表示的基础（浮点与定点），中间是量化映射的数学核心（对称与非对称），右侧是两种工程路径（PTQ与QAT）。在KWS模型部署中，我们通常将FP32的权重和激活值映射到INT8范围（-128~127或0~255），从而将模型体积压缩至原来的1/4，并显著提升推理速度。接下来，我们将逐一深入这些概念。

3.1 量化核心概念：从浮点到定点的本质

3.1.1 核心原理：为什么需要量化

浮点数（FP32）用32位二进制表示一个实数，其中包含1位符号位、8位指数位和23位尾数位。这种表示方式提供了约10^38的动态范围，非常适合训练阶段的梯度传播。然而，在智能音箱的端侧芯片（如Cortex-M4F、Cortex-M7或专用NPU）上，FP32运算需要多个时钟周期，且内存带宽受限。量化将连续的浮点值映射到离散的整数空间，其本质是用有限的信息熵换取计算效率和存储效率。

以KWS模型为例，一个典型的DS-CNN（Depthwise Separable Convolutional Neural Network）模型参数量约为200KB（FP32），量化到INT8后仅需50KB，这直接决定了能否将模型放入MCU的Flash中。更重要的是，INT8乘加运算在多数DSP上可以单周期完成，而FP32乘法通常需要4-6个周期。

3.1.2 定点与浮点的数学对比

定点数（Fixed-point）是浮点数的简化替代，它使用固定的整数位宽和小数位宽来表示数值。在嵌入式C语言中，我们常用Q格式（如Q7、Q15）来描述定点数。例如，Q7格式表示1位符号位+7位小数位，能表示的范围是[-1, 1-2^-7]，精度为2^-7≈0.0078。

特性FP32浮点INT8定点Q15定点
位宽32位8位16位
动态范围±3.4×10^38-128~127-1~0.9999
精度约7位有效数字整数精度约4位有效数字
硬件支持需要FPUALU直接支持部分DSP支持
典型应用训练、服务器推理端侧推理音频处理中间层

在KWS的音频特征提取阶段（如MFCC），我们通常保留FP32或Q15精度，因为特征值的动态范围较大。而在神经网络推理阶段，权重和激活值经过BatchNorm后分布相对集中，适合使用INT8量化。

经验提醒：在MCU上实现KWS时，不要将整个MFCC流程都量化为INT8。建议将MFCC特征提取保留为Q15定点格式，仅将神经网络推理部分量化为INT8。这是因为MFCC中的log运算和DCT变换对精度敏感，而卷积层的权重分布相对稳定。

3.1.3 案例拆解：KWS模型量化前后的资源对比

假设我们有一个基于CRNN（卷积循环神经网络）的KWS模型，包含3个卷积层和1个GRU层。原始FP32模型大小为180KB，在Cortex-M4F（无FPU）上单次推理需要85ms。经过INT8量化后，模型大小降至45KB，推理时间降至22ms。但量化后模型在安静环境下的唤醒率从98.2%降至96.5%，误唤醒率从0.8次/天升至1.2次/天。这个案例说明，量化带来的收益（体积减少75%，速度提升3.8倍）是显著的，但精度损失需要仔细评估。

3.2 对称量化与非对称量化

3.2.1 核心原理：量化映射的数学表达

量化的核心是找到一组参数（scale和zero_point），将浮点实数r映射到整数q：

r = scale × (q - zero_point)
其中：
- scale（缩放因子）：浮点数，表示每个整数步长代表的实数范围
- zero_point（零点）：整数，表示浮点0值对应的量化整数

对称量化强制zero_point=0，即浮点0精确映射到整数0。此时量化范围关于原点对称，对于INT8，映射范围为[-127, 127]（通常不使用-128以保持对称）。非对称量化允许zero_point≠0，可以充分利用INT8的完整范围[-128, 127]，对于分布偏置的激活值（如ReLU后的非负值）特别有效。

3.2.2 判断方法：如何选择对称还是非对称

选择量化策略时，需要分析张量的数值分布特征：

  • 权重张量：通常关于0近似对称分布（因为训练中权重有正有负），优先使用对称量化。
  • 激活张量：经过ReLU后全为非负值，分布明显偏置，使用非对称量化可以更充分地利用量化范围。
  • GRU/LSTM的隐状态：分布动态变化，建议使用非对称量化并采用逐通道（per-channel）或逐组（per-group）量化策略。

在KWS模型中，第一层卷积的输入是MFCC特征，其值域通常在[-2, 2]之间，接近对称分布；而中间层的ReLU输出在[0, 6]之间，非对称特征明显。因此，一个实用的策略是：权重用对称量化，激活用非对称量化。

3.2.3 实战场景：KWS模型中的量化参数计算

以KWS模型中某一卷积层的权重为例，假设权重矩阵的统计值为min=-0.85，max=0.92。对称量化时，scale = max(|min|, |max|) / 127 = 0.92/127 ≈ 0.00724。非对称量化时，scale = (max - min) / 255 = (0.92 - (-0.85)) / 255 ≈ 0.00694，zero_point = round(-min / scale) = round(0.85/0.00694) ≈ 122。

可以看到，非对称量化的scale更小，意味着量化精度更高。对于激活值，假设某层ReLU输出范围为[0.0, 5.2]，对称量化时scale=5.2/127≈0.0409，而非对称量化时scale=5.2/255≈0.0204，精度提升了一倍。

风险提示：非对称量化虽然精度更高，但在硬件实现上需要额外的zero_point减法运算。某些低端MCU的SIMD指令集不支持带zero_point的乘加运算，此时需要编译器额外生成修正指令，反而可能降低推理速度。在硬件选型阶段就要确认DSP/NPU是否原生支持非对称量化。

3.3 QAT与PTQ：两种量化路径的深度对比

3.3.1 核心原理：两种路径的本质差异

训练后量化（PTQ，Post-Training Quantization）是在模型训练完成后，使用少量校准数据（通常为500-2000个样本）统计激活值的分布范围，然后计算scale和zero_point。PTQ不需要重新训练模型，部署速度快，但精度损失相对较大。

量化感知训练（QAT，Quantization-Aware Training）在训练过程中模拟量化误差。具体做法是在前向传播时，将权重和激活值伪量化（fake-quantize）到INT8精度，但反向传播时仍然使用浮点梯度更新权重。这样，模型在训练阶段就适应了量化带来的噪声，推理时量化精度更高。

3.3.2 操作流程：PTQ与QAT的标准步骤

PTQ操作流程：

  1. 准备校准数据集：从训练集中随机抽取500-1000个音频片段，覆盖不同说话人、不同信噪比场景。
  2. 运行推理并收集激活值分布：将校准数据输入FP32模型，记录每一层激活值的min/max或直方图。
  3. 计算量化参数：根据收集的统计信息，使用MinMax、Percentile或KL散度方法计算scale和zero_point。
  4. 转换模型：将FP32权重转换为INT8，并生成量化后的推理图。
  5. 验证精度：在验证集上测试量化模型的唤醒率和误唤醒率。

QAT操作流程：

  1. 加载预训练FP32模型作为初始化。
  2. 在模型中插入伪量化节点（FakeQuantize），通常位于权重和激活之后。
  3. 使用较小的学习率（约为原学习率的1/10）继续训练模型，训练轮次通常为原训练轮次的10%-20%。
  4. 训练完成后，移除伪量化节点，导出INT8模型。
  5. 在端侧硬件上进行板端验证，对比FP32模型的精度差异。

3.3.3 案例拆解：KWS模型的PTQ与QAT实战对比

我们为一个唤醒词“小智小智”训练了一个KWS模型，训练集包含5000个正样本和20000个负样本。模型结构为2层卷积+1层GRU+全连接层，参数量约150KB。

初始现象：直接使用PTQ量化后，模型在测试集上的唤醒率从97.5%降至91.2%，误唤醒率从0.5次/天升至3.8次/天。分析发现，GRU层的隐状态分布范围较大（-3.2~3.5），且存在长尾分布，MinMax方法计算出的scale过大，导致小数值被严重截断。

分析判断过程：我们对比了不同校准方法的效果：MinMax方法精度损失最大，Percentile（99.99%）方法有所改善，但GRU层仍然存在较大误差。进一步分析发现，GRU的循环结构会累积量化误差，导致隐状态漂移。

实际操作步骤：我们改用QAT方案，在训练阶段对GRU的隐状态施加伪量化噪声。具体做法是：在GRU的输入和输出处分别插入FakeQuantize节点，并设置初始scale为0.02。使用学习率0.0001继续训练5个epoch（原训练为30个epoch）。

结果对比：QAT后的模型唤醒率为96.8%，误唤醒率为0.7次/天，精度损失控制在可接受范围内。模型大小从150KB降至38KB，推理时间从70ms降至18ms。

评估指标FP32基线PTQ（MinMax）PTQ（Percentile）QAT
唤醒率97.5%91.2%94.0%96.8%
误唤醒率（次/天）0.53.81.90.7
模型大小（KB）150383838
推理时间（ms）70181818
部署周期-1天1天3天

风险与代价：QAT需要额外的训练时间和GPU资源，且需要维护训练代码和推理代码两套流程。但考虑到KWS模型对唤醒率的高要求，QAT的额外成本是值得的。

复盘经验：对于包含循环结构（GRU/LSTM）的KWS模型，强烈建议使用QAT。PTQ对于纯CNN结构的KWS模型（如DS-CNN）通常足够，因为卷积层的权重分布相对稳定，且没有时间维度的误差累积。如果项目周期紧张，可以先尝试PTQ，若精度损失超过2%，再切换到QAT。

3.4 常见误区与总结

3.4.1 误区一：量化就是简单的四舍五入

量化不是简单的数值取整，而是需要精心设计scale和zero_point，并考虑溢出、饱和、截断等问题。错误的量化参数可能导致模型完全失效。

3.4.2 误区二：PTQ一定比QAT差

对于分布良好的模型（如经过良好正则化的CNN），PTQ的精度损失可能小于0.5%，此时无需QAT。QAT的价值在于处理分布极端或结构复杂的模型。

3.4.3 误区三：所有层都用相同的量化配置

不同层对量化的敏感度不同。第一层卷积直接处理输入特征，对精度要求高；最后的全连接层输出分类概率，误差会被放大。建议对敏感层使用更高的位宽（如INT16）或per-channel量化。

3.4.4 总结

量化是KWS模型端侧部署的关键技术。理解浮点与定点的本质差异，掌握对称/非对称量化的选择依据，并根据模型结构合理选择PTQ或QAT路径，是确保部署后模型性能的关键。在实际项目中，建议建立一套完整的量化评估流程：先进行PTQ快速验证，若精度不达标，再针对敏感层实施QAT。同时，务必在真实硬件上进行板端精度验证，因为仿真环境无法完全模拟硬件的舍入行为和数值溢出特性。

← 上一章 📖 返回目录 下一章 →