4、唤醒词检测原理：关键词 Spotting 的流程、唤醒词模型架构与典型数据集

唤醒词检测（Keyword Spotting, KWS）是 TinyML 领域最具代表性的落地场景之一。它的核心任务是在连续音频流中实时识别一个或多个预定义的短词语（如“Hey Siri”、“小爱同学”、“OK Google”），并在识别成功后触发后续的语音交互流程。与大规模语音识别（ASR）不同，KWS 面向的是低功耗、低资源、常开（Always-on）的嵌入式设备，因此其模型设计、数据处理和部署策略都有鲜明的 TinyML 特征。本章将系统梳理 KWS 的完整流程、主流模型架构（DNN/CNN/CRNN）以及典型数据集，为后续基于 ONNX 的模型转换与部署打下理论基础。

KWS 系统流程与模型架构选择 音频流输入 16kHz/16bit 预处理/特征提取 分帧→加窗→MFCC KWS 模型推理 DNN/CNN/CRNN 后处理/决策 阈值/平滑/触发 唤醒 事件 三种主流模型架构对比 DNN（全连接） 输入: 1D特征向量 结构: 2-3层FC 参数量: ~50K-200K RAM: ~10-30KB 精度: ★★☆ 适合: MCU入门 CNN（卷积） 输入: 2D频谱图 结构: Conv+Pool+FC 参数量: ~100K-500K RAM: ~30-100KB 精度: ★★★ 适合: 主流方案 CRNN（卷积+循环） 输入: 2D频谱图 结构: Conv+GRU/LSTM 参数量: ~200K-800K RAM: ~50-150KB 精度: ★★★★ 适合: 时序建模 注：参数量与RAM为典型参考值，实际取决于输入尺寸与具体配置

4.1 关键词 Spotting 的核心流程

KWS 系统的完整流程可以划分为五个关键阶段：音频采集、预处理与特征提取、模型推理、后处理决策、系统响应。在 TinyML 场景下，这五个阶段需要在极低的功耗预算（通常小于 10mW）和有限的计算资源（如 Cortex-M4 或 M7 内核，主频 80-200MHz）内完成。

4.1.1 音频采集与前端处理

音频采集通常使用数字麦克风（如 MP34DT05）通过 PDM 接口或模拟麦克风通过 ADC 接入 MCU。采样率一般设定为 16kHz，位深 16bit，这是语音识别领域的事实标准。在采集过程中需要注意直流偏置去除和增益控制，避免信号削波。对于常开设备，音频前端通常采用 DMA 双缓冲机制，实现零拷贝数据传输，降低 CPU 占用。

4.1.2 特征提取：从波形到特征向量

原始音频波形不能直接输入神经网络，需要转换为更具判别性的特征表示。最常用的特征是梅尔频率倒谱系数（MFCC）。提取流程如下：

  1. 预加重：通过一阶高通滤波器（系数通常为 0.97）提升高频分量，补偿语音信号的高频衰减。
  2. 分帧：将连续音频切分为 30-40ms 的帧，帧移通常为 10-20ms，保证帧间有 50% 左右的重叠。
  3. 加窗：对每帧应用汉明窗或汉宁窗，减少频谱泄漏。
  4. FFT：对加窗后的信号做 512 点或 1024 点 FFT，得到幅度谱。
  5. 梅尔滤波器组：将幅度谱通过 20-40 个三角滤波器，模拟人耳对不同频率的非线性感知。
  6. 对数运算与 DCT：对滤波器输出取对数，再做离散余弦变换（DCT），取前 10-13 个系数作为 MFCC 特征。

在 TinyML 部署中，MFCC 提取通常使用定点数实现（如 Q15 格式），避免浮点运算带来的性能开销。一个典型的配置是：每帧 40ms，帧移 20ms，40 维滤波器组，输出 10 维 MFCC。对于 1 秒的音频，可以产生约 49 帧特征，形成 49×10 的特征矩阵。

工程经验：在 MCU 上实现 MFCC 时，建议将梅尔滤波器组的系数预先计算并存储为查找表，避免运行时重复计算。同时，FFT 可以使用 CMSIS-DSP 库中的优化实现（如 arm_rfft_q15），在 Cortex-M4 上可达到 512 点 FFT 仅需约 0.5ms 的性能。

4.2 唤醒词模型架构：DNN、CNN 与 CRNN

模型架构的选择直接决定了 KWS 系统的识别精度、内存占用和推理延迟。以下三种架构是当前 TinyML KWS 领域的主流方案。

4.2.1 DNN（深度全连接网络）

DNN 是最简单的 KWS 模型，通常由 2-3 层全连接层组成。输入是将 MFCC 特征展平为一维向量。例如，对于 49×10 的特征矩阵，展平后得到 490 维输入向量。隐藏层节点数通常为 128-256，输出层节点数等于唤醒词数量加一个“静音/其他”类别。

DNN 的优点是参数量小（通常 50K-200K）、计算量低、内存占用少，非常适合资源极度受限的 MCU。但其缺点也很明显：无法有效捕捉特征的时序相关性，对噪声和口音变化的鲁棒性较差。DNN 适合唤醒词数量少（1-2 个）、环境相对安静的场景。

4.2.2 CNN（卷积神经网络）

CNN 将 MFCC 特征视为二维图像（时间×频率），通过卷积核提取局部模式。典型的 KWS-CNN 结构为：

输入: 49×10 MFCC特征图
Conv2D: 8个3×3卷积核, padding='same', ReLU
MaxPooling: 2×2
Conv2D: 16个3×3卷积核, padding='same', ReLU
MaxPooling: 2×2
Flatten
Dense: 32节点, ReLU
Dense: N类 (唤醒词数+1), Softmax

CNN 通过卷积核的权值共享大幅减少了参数量，同时能够提取频率轴上的局部特征和时间轴上的短时变化模式。在同等参数量下，CNN 的精度通常优于 DNN。此外，深度可分离卷积（Depthwise Separable Convolution）可以进一步将参数量降低 4-8 倍，非常适合 TinyML 部署。

4.2.3 CRNN（卷积循环神经网络）

CRNN 结合了 CNN 的空间特征提取能力和 RNN 的时序建模能力。其典型结构为：先用 1-2 层 CNN 提取频谱特征，再将 CNN 输出的特征序列输入 GRU（门控循环单元）或 LSTM 层，最后通过全连接层输出分类结果。

CRNN 的优势在于能够建模长时依赖关系，对连续语音中的上下文信息利用更充分。例如，当唤醒词出现在不同语速或不同重音位置时，CRNN 的鲁棒性明显优于纯 CNN。但 RNN 的循环计算在 MCU 上实现较为复杂，且 GRU/LSTM 的参数量和计算量较大。在 TinyML 部署中，通常使用 GRU 而非 LSTM，因为 GRU 参数更少、计算更快。

架构参数量RAM占用推理延迟(Cortex-M4@100MHz)精度(10词任务)适用场景
DNN50K-200K10-30KB5-15ms85-90%极低资源MCU
CNN100K-500K30-100KB15-40ms92-95%主流TinyML方案
CRNN200K-800K50-150KB30-80ms95-97%高精度需求场景
注意：上述数据为典型参考值，实际性能取决于输入特征维度、模型具体配置以及 MCU 的算力。在选型时，务必以实际部署测试为准，不能仅凭参数量判断模型大小。例如，一个参数量为 300K 的 CNN 模型，如果使用 8bit 量化，其权重存储仅需 300KB，但激活值（中间特征图）可能占用更多 RAM。

4.3 典型数据集与训练策略

高质量的数据集是训练可靠 KWS 模型的基础。以下是 KWS 领域最常用的公开数据集。

4.3.1 Speech Commands Dataset

由 Google 发布的 Speech Commands 数据集是 KWS 领域的事实标准。该数据集包含 105,829 条 1 秒长度的语音，涵盖 35 个单词，采样率 16kHz，16bit 单声道。核心词汇包括 "yes"、"no"、"up"、"down"、"left"、"right"、"on"、"off"、"stop"、"go" 等。数据集已按说话人划分训练集（80%）、验证集（10%）和测试集（10%），确保同一说话人的语音不会同时出现在训练和测试集中。

在训练 KWS 模型时，通常选择 10 个核心词汇作为目标类别，加上 "silence"（静音）和 "unknown"（未知词）两个特殊类别，共 12 类。其中 "unknown" 类由非目标词汇的语音构成，用于让模型学会拒绝非唤醒词。

4.3.2 其他数据集与数据增强

除了 Speech Commands，还有一些其他数据集可用于 KWS 训练：

  • Google Speech Commands v2：v1 的扩展版，增加了更多说话人和噪声环境。
  • LibriSpeech：大规模英文有声书朗读语料，可用于预训练或数据增强。
  • Mozilla Common Voice：众包收集的多语言语音数据集，适合多语言唤醒词。
  • 自采集数据：针对特定唤醒词（如品牌名、产品名），需要自行录制。建议覆盖不同性别、年龄、方言口音的说话人，并包含安静、办公室、街道、车内等不同噪声环境。

数据增强是提升 KWS 模型鲁棒性的关键手段。常用的增强方法包括：

  1. 背景噪声叠加：将环境噪声（如白噪声、咖啡馆噪声、风扇声）以不同信噪比（SNR 5-20dB）叠加到语音上。
  2. 时间偏移：将语音在 1 秒窗口内随机平移，模拟唤醒词出现位置的不确定性。
  3. 音调变换：将音频的音调随机上下调整 2-3 个半音，模拟不同说话人的音色差异。
  4. 速度扰动：将音频播放速度随机调整 0.9-1.1 倍，模拟语速变化。

4.4 案例拆解：基于 CRNN 的“小智同学”唤醒词部署

下面通过一个实际案例，完整展示 KWS 模型从数据准备到部署的闭环流程。

4.4.1 项目背景与约束

某智能家居产品需要实现“小智同学”唤醒词检测，目标硬件为 Cortex-M7 内核 MCU（主频 400MHz，内置 1MB Flash，512KB RAM），要求唤醒率 ≥95%（信噪比 10dB 以上），误唤醒率 ≤1 次/24 小时，推理延迟 ≤50ms，功耗 ≤15mW。

4.4.2 数据准备与模型训练

由于“小智同学”不在公开数据集中，团队录制了 2,000 条唤醒词语音（50 位说话人，每人 40 条），同时从 Speech Commands 中选取 10,000 条非目标词汇作为负样本。数据增强采用背景噪声叠加（SNR 5-15dB）和时间偏移，将训练集扩充至 24,000 条。

模型采用 CRNN 架构：

输入: 49×10 MFCC特征
Conv2D: 16个3×3, ReLU, padding='same'
MaxPooling: 2×2
Conv2D: 32个3×3, ReLU, padding='same'
MaxPooling: 2×2
GRU: 32单元
Dense: 3类 (小智同学/静音/其他), Softmax

训练时使用 Adam 优化器，初始学习率 0.001，batch size 64，训练 30 个 epoch。最终测试集准确率达到 96.2%，满足精度要求。

4.4.3 ONNX 转换与量化部署

训练完成后，将 PyTorch 模型导出为 ONNX 格式，然后使用 ONNX Runtime 进行验证。接着进行 INT8 量化：

# 伪代码示例
import onnx
from onnxruntime.quantization import quantize_dynamic, QuantType

model_path = "kws_crnn.onnx"
quantized_path = "kws_crnn_int8.onnx"
quantize_dynamic(model_path, quantized_path, weight_type=QuantType.QInt8)

量化后模型大小从 320KB 降至 82KB，推理延迟从 45ms 降至 22ms，RAM 占用从 120KB 降至 45KB。精度损失仅 0.8%（96.2% → 95.4%），满足 ≥95% 的要求。

4.4.4 实测结果与复盘

在真实环境中测试 72 小时，共触发唤醒 1,200 次，正确唤醒 1,152 次（唤醒率 96%），误唤醒 2 次（约 0.67 次/24 小时），满足误唤醒 ≤1 次/24 小时的要求。功耗实测 12.3mW，低于 15mW 的预算。

复盘经验：在部署过程中发现，GRU 的循环计算在 MCU 上需要手动展开为时间步循环，且 INT8 量化对 GRU 的精度影响比 CNN 层更大。后续优化中，将 GRU 替换为轻量级的时间卷积（TCN）模块，在保持精度的同时进一步降低了部署复杂度。

关键总结：KWS 系统的设计需要综合考虑音频前端、特征提取、模型架构、量化部署和系统集成五个层面。在 TinyML 场景下，没有“最好”的模型，只有“最合适”的模型。建议从 DNN 或小型 CNN 起步，在满足精度要求的前提下优先选择结构简单、部署容易的模型。当精度不足时，再逐步升级到 CRNN 或更大规模的 CNN，并通过量化、剪枝等技术在精度与资源之间取得平衡。
← 上一章 📖 返回目录 下一章 →