2、KWS模型基础：唤醒词识别原理、典型模型结构（如DNN/CNN/CRNN）、常用数据集与评价指标（准确率、召回率、ROC）

唤醒词识别（Keyword Spotting, KWS）是智能音箱从“待机”状态切换到“交互”状态的第一个信号闸门。与语音识别（ASR）不同，KWS 只需要在连续音频流中检测一个或少数几个预定义的短语（如“小爱同学”“Hey Siri”），因此其模型设计追求“轻量、低延迟、低功耗”，同时要在嘈杂家居环境中保持高唤醒率和低误唤醒率。本章将系统梳理 KWS 的核心原理、主流模型结构、公开数据集与评价指标，为后续 Int8 量化部署和板端精度验证打下理论基础。

上图展示了 KWS 系统的完整链路：从连续音频流输入，经过特征提取、模型推理、后处理得到唤醒/拒识结果；同时，训练数据集和评价指标构成模型迭代的闭环。在板端部署时，Int8 量化会改变模型权重和激活值的数值精度，因此必须重新验证上述指标是否仍然满足产品需求。

2.1 唤醒词识别原理

2.1.1 核心原理与任务定义

唤醒词识别本质上是一个小词汇量、单类别检测问题。与 ASR 需要识别几十万个词不同，KWS 只需要区分“目标词”和“非目标词”（包括其他语音、噪声、音乐等）。从信号处理角度看，KWS 系统通常采用基于滑动窗口的检测策略：将连续的音频流切分为固定长度（如 1 秒）的帧序列，每帧提取声学特征，然后由模型判断该窗口内是否包含唤醒词。

KWS 的难点在于：

• 计算资源受限：板端 DSP/MCU 的算力通常只有几十到几百 GOPS，内存仅几 MB，模型必须足够轻量。
• 实时性要求：从用户说出唤醒词到系统响应，延迟通常要求小于 300ms，这意味着模型推理时间必须控制在几十毫秒内。
• 噪声鲁棒性：家居环境存在电视声、厨房噪声、多人说话等干扰，模型需要在高噪声下保持高召回率。
• 误唤醒控制：如果系统频繁被误唤醒，用户体验会急剧下降，因此需要严格控制误唤醒率（通常要求每 24 小时不超过 3-5 次）。

2.1.2 特征提取与前端处理

KWS 常用的声学特征包括：

• MFCC（梅尔频率倒谱系数）：40 维左右，对噪声有一定鲁棒性，是传统 KWS 的首选。
• Fbank（滤波器组特征）：40-80 维，保留了更多原始信息，在深度学习中表现优于 MFCC。
• 原始波形：部分端到端模型（如 SincNet）直接使用原始波形，但需要更大的模型容量。

特征提取的典型参数：采样率 16kHz，帧长 25ms，帧移 10ms，每 100 帧（即 1 秒）作为一个检测窗口。对于 1 秒的输入，特征维度通常为 100×40（时间帧×特征维），这构成了模型的输入张量。

2.2 典型模型结构

2.2.1 DNN 模型

最简单的 KWS 模型是全连接深度神经网络（DNN）。将 1 秒窗口内的特征展平为一维向量（如 100×40=4000 维），输入到 2-3 层全连接网络中，输出为唤醒词类别的概率分布。DNN 模型参数量通常在 100K-500K 之间，计算量约 1-5 MFLOPs，非常适合 MCU 级芯片。

但 DNN 的缺点也很明显：无法有效建模时间序列的上下文依赖，对语音中的时序变化不敏感，在噪声环境下性能下降明显。

2.2.2 CNN 模型

卷积神经网络（CNN）将特征视为“图像”（时间×频率），通过 2D 卷积提取局部时频模式。典型结构如 DS-CNN（Depthwise Separable CNN），由 Google 提出，在 Speech Commands 数据集上取得了 94% 以上的准确率，而参数量仅约 80K。

CNN 的优势在于：

• 卷积核可以捕捉频率维度的局部模式（如共振峰结构）和时间维度的短时变化。
• 深度可分离卷积大幅降低计算量，适合板端部署。

2.2.3 CRNN 模型

CRNN（卷积循环神经网络）结合了 CNN 的特征提取能力和 RNN 的时序建模能力。通常使用 1-2 层 CNN 提取局部特征，然后送入 GRU/LSTM 层建模长时依赖。CRNN 在噪声环境下的鲁棒性优于纯 CNN，但计算量也更高，适合算力稍强的 SoC 平台。

模型结构	参数量	计算量	准确率（SC 数据集）	板端适用性
DNN（2 层）	~200K	~2 MFLOPs	~88%	MCU（Cortex-M4）
DS-CNN	~80K	~5 MFLOPs	~94%	MCU / DSP
CRNN（GRU）	~300K	~20 MFLOPs	~96%	SoC（Cortex-A 系列）

2.3 常用数据集与评价指标

2.3.1 公开数据集

• Google Speech Commands V2：最常用的 KWS 基准数据集，包含 35 个单词，每个词约 2000 条 1 秒音频，总计约 10 万条。采样率 16kHz，适合训练和验证 KWS 模型。
• Hey Snips：面向唤醒词“Hey Snips”的数据集，包含 2.3 万条正样本和 10 万条负样本，更贴近真实场景。
• 自采数据：实际产品中，必须采集目标唤醒词在不同方言、不同年龄、不同噪声环境下的数据，通常需要 5000-10000 条正样本才能达到可接受的唤醒率。

2.3.2 评价指标详解

KWS 的评价指标需要从“检测”和“分类”两个维度理解：

• 准确率（Accuracy）：所有样本中预测正确的比例。但在 KWS 中，正负样本极不平衡（负样本远多于正样本），准确率会虚高，因此需要结合其他指标。
• 召回率（Recall）/ 灵敏度：正样本中被正确检测出的比例。召回率低意味着用户说了唤醒词但设备没反应，这是最差的体验。
• 误唤醒率（False Alarm Rate, FAR）：负样本中被误判为正样本的比例。FAR 过高会导致设备频繁“自己醒来”。
• ROC 曲线与 AUC：以 FAR 为横轴、召回率为纵轴绘制的曲线，AUC 表示曲线下面积。AUC 越接近 1，模型区分正负样本的能力越强。

2.4 案例拆解：DS-CNN 模型在 Speech Commands 上的训练与评估

下面通过一个具体案例，展示 KWS 模型的训练和评估流程。假设我们要训练一个识别“小度小度”的唤醒词模型，使用 Speech Commands V2 数据集中的“小度”类别作为正样本，其他类别作为负样本。

背景与约束：目标板端芯片为 Cortex-M4 @ 100MHz，内存 512KB，Flash 1MB。要求模型推理时间 < 50ms，模型大小 < 200KB。

操作步骤：

1. 数据准备：从 Speech Commands V2 中提取“小度”类别 2000 条作为正样本，随机抽取其他 20 个类别共 20000 条作为负样本。按 8:1:1 划分训练/验证/测试集。
2. 特征提取：使用 40 维 Fbank，帧长 25ms，帧移 10ms，每段音频 1 秒，得到 100×40 的特征矩阵。
3. 模型构建：采用 DS-CNN 结构，包含 3 个深度可分离卷积层（通道数 64/128/256）和 1 个全连接层，参数量约 80K。
4. 训练：使用 Adam 优化器，初始学习率 0.001，batch size 128，训练 30 个 epoch。数据增强包括随机噪声叠加、时间偏移等。
5. 评估：在测试集上计算准确率、召回率、FAR，并绘制 ROC 曲线。

结果对比：

指标	FP32 模型	Int8 量化模型	差异
准确率	95.2%	94.1%	-1.1%
召回率（@FAR=1%）	93.8%	92.0%	-1.8%
模型大小	320KB	80KB	-75%
推理时间	45ms	28ms	-38%

复盘经验：Int8 量化后模型大小和推理时间显著改善，但召回率下降了 1.8%，在噪声环境下可能更明显。后续可以通过量化感知训练（QAT）将召回率损失控制在 0.5% 以内。此外，实际部署时还需要在板端采集真实环境数据，进行多轮验证，确保唤醒率满足产品规格（通常要求 > 95%）。

2.5 常见误区与总结