2、语音识别基础：MFCC特征提取、关键词识别（KWS）模型架构、典型语音数据集（如Speech Commands）
在进入TinyML语音量化部署之前，必须先厘清语音识别链路中最核心的三个技术支点：特征提取（MFCC）、模型架构（KWS）与数据集（Speech Commands）。这三者决定了后续Int8量化时“精度损失的边界在哪里”。MFCC将原始波形压缩为低维感知特征，KWS模型在极小参数量下完成“唤醒词”检测，而数据集则定义了任务的分布与难度。理解这三者的内在耦合关系，是量化部署时判断“哪些层可以激进量化、哪些层必须保守处理”的前提。
上图展示了从原始语音到关键词输出的完整链路，并标注了两个最关键的量化敏感点。下面逐一展开。
2.1 MFCC特征提取：从波形到感知域的压缩
核心原理
MFCC（Mel-Frequency Cepstral Coefficients）模拟人耳对频率的非线性感知。其计算流程为：预加重→分帧加窗→FFT→Mel滤波器组→取对数→DCT变换。最终每个语音帧（通常25ms）被压缩为39~40维特征（13维MFCC + 13维Δ + 13维ΔΔ，或直接40维含能量）。在MCU上，MFCC的计算通常使用定点数实现，因为浮点FFT在Cortex-M4上开销较大。
| 步骤 | 典型参数 | 量化部署影响 |
|---|---|---|
| 预加重 | 系数0.97 | 定点乘法，无精度风险 |
| 分帧 | 帧长25ms，帧移20ms | 1秒音频约49帧，需静态分配内存 |
| FFT | 512点（16kHz采样） | 使用Q15格式定点FFT，误差<0.1% |
| Mel滤波器组 | 40个三角滤波器 | 滤波器系数可预先量化为int16 |
| 对数运算 | ln(x+1) | 查表法实现，表大小256~1024 |
| DCT | 13~40点 | 矩阵乘法，系数可离线量化 |
判断方法
在MCU上部署MFCC时，需要判断两个关键指标：动态范围与帧间连续性。MFCC的DCT输出值范围通常在[-20, +20]之间，但不同系数维度的方差差异可达100倍。若直接对MFCC输出做int8量化，低方差维度（如高阶系数）可能被量化噪声淹没。建议做法：对每个维度单独统计min/max，使用per-channel量化（而非per-tensor）。
案例拆解：MFCC定点化误差分析
某智能音箱项目使用Cortex-M7（主频400MHz）做本地唤醒。初始浮点MFCC提取耗时38ms/帧，无法满足实时性（需<20ms/帧）。改用Q15定点FFT后耗时降至9ms/帧，但识别准确率从96.2%降至95.1%。分析发现：对数运算的查表法引入0.3%误差，且Mel滤波器系数从float转int16时，低频段（0~200Hz）量化误差放大。解决方案：将Mel滤波器系数按频段分段量化（低频用Q12，高频用Q8），并将对数查表从256点增至512点。最终准确率恢复至95.8%，耗时10.2ms/帧。
2.2 KWS模型架构：深度可分离卷积与参数效率
核心原理
关键词识别（KWS）任务通常采用深度可分离卷积（Depthwise Separable Convolution）架构，代表模型为DS-CNN或MobileNetV1的缩小版。输入为49帧×40维MFCC特征图（即49×40×1），经过3~5层卷积后，输出为类别概率（如10类：yes/no/up/down/left/right/on/off/stop/go + 静音/未知）。参数量控制在50K~500K之间，适合MCU的Flash（通常256KB~1MB）。
| 层类型 | 输出尺寸 | 参数量 | 量化敏感度 |
|---|---|---|---|
| Conv2D 3×3 | 49×40×8 | 72 | 低（权重范围稳定） |
| Depthwise Conv 3×3 | 49×40×8 | 72 | 中（通道间方差大） |
| Pointwise Conv 1×1 | 49×40×16 | 128 | 低 |
| Global AvgPool | 1×1×16 | 0 | 低 |
| FC + Softmax | 10 | 160 | 高（输出层需保留float） |
操作流程：KWS模型量化部署步骤
- 预训练：在TensorFlow中训练float32模型，输入为40维MFCC（49帧），使用Speech Commands v2数据集。
- BN融合：将BatchNorm层折叠到前一卷积层，减少运行时计算。
- 校准：使用500~1000条验证集音频，统计每层激活值的min/max。
- 量化：权重使用per-tensor int8（对称量化），激活使用per-tensor int8（非对称量化）。
- 验证：对比float32与int8模型的准确率差，目标<1%。
案例拆解：DS-CNN在Cortex-M4上的量化实战
项目背景：智能门锁需在STM32L4（Cortex-M4, 80MHz, 512KB Flash）上运行“你好小锁”唤醒词。初始float32模型参数量180KB，Flash占用超限。量化方案：权重int8（per-tensor），激活int8（per-tensor），但保留第一层和最后一层为float16。结果：Flash降至62KB，RAM占用从120KB降至48KB，推理时间从210ms降至85ms。准确率从97.0%降至96.2%（损失0.8%）。进一步分析发现，损失主要来自Softmax前的FC层，因为该层输出logits范围较大（±15），int8量化后精度不足。修复：将FC层改为int16量化，准确率恢复至96.8%。
2.3 典型语音数据集：Speech Commands v2
核心原理
Speech Commands v2由Google发布，包含105,829条1秒音频，采样率16kHz，共35个单词类别（含“unknown”和“silence”）。该数据集专为KWS任务设计，训练集/验证集/测试集按80%/10%/10%划分，且保证同一说话人不会同时出现在训练集和测试集中（speaker-independent）。
| 类别 | 样本数 | 说明 |
|---|---|---|
| 核心词（yes/no/up/down等） | 各~2,400 | 每个词约2,400条 |
| 未知词（unknown） | ~36,000 | 从剩余词中随机抽取 |
| 静音（silence） | ~2,400 | 背景噪声或静音段 |
| 背景噪声（background） | ~23,000 | 用于数据增强 |
判断方法：数据集适配性检查
在量化部署前，需检查数据集与目标场景的匹配度：① 采样率是否一致（16kHz vs 8kHz）；② 背景噪声类型（家庭环境 vs 车载）；③ 说话人距离（近场 vs 远场）。若目标场景与数据集分布差异大，量化校准集应重新采集，否则int8模型的准确率会显著下降。
案例拆解：数据集校准集选择对量化精度的影响
某TWS耳机项目使用Speech Commands v2训练“Hey Siri”替代唤醒词。量化校准集从训练集中随机抽取500条，但未包含“unknown”类样本。部署后发现：在安静环境下准确率98%，但在嘈杂街道上误触发率高达12%。分析：校准集未覆盖unknown类的激活分布，导致量化后模型对非关键词的判别边界偏移。修复：重新从训练集中抽取500条，其中包含200条unknown、50条silence、250条核心词。重新量化后，误触发率降至3.5%，准确率保持97.5%。
2.4 常见误区与总结复盘
- 误区一：MFCC必须用浮点计算。实际上，定点MFCC在Cortex-M4上精度损失可控制在0.5%以内，且速度提升3~5倍。
- 误区二：所有层都用per-tensor量化。Depthwise层和FC层必须使用per-channel或更高精度（int16），否则精度损失超过2%。
- 误区三：量化校准集直接用训练集。校准集应包含与部署场景匹配的噪声、unknown类样本，否则量化后模型对分布外数据敏感。
- 误区四：忽略Softmax前的logits范围。若logits范围超过int8可表示范围（-128~127），需改用int16或保留float。
总结复盘：语音识别基础的三个模块——MFCC、KWS架构、数据集——在量化部署中各有其敏感点。MFCC的关键在于定点化时的动态范围控制；KWS模型的关键在于Depthwise层的per-channel量化；数据集的关键在于校准集的分布匹配。三者环环相扣，任何一环的疏忽都会导致最终int8模型在MCU上的精度损失超过可接受范围（通常为1%~2%）。建议在项目启动时，先完成这三者的联合评估，再进入量化部署阶段。