3、关键词识别系统：典型架构（如KWS）、常用模型（如CNN、DS-CNN、LSTM）、训练数据与标签设计
关键词识别（Keyword Spotting, KWS）是语音交互的“守门员”，其核心任务是在连续音频流中检测预设的唤醒词或命令词（如“Hey Siri”“小爱同学”）。与大规模语音识别（ASR）不同，KWS 通常运行在资源受限的嵌入式设备上，要求低延迟、低功耗、高实时性。理解 KWS 的典型架构、模型选型以及数据标签设计，是后续进行 TFLite 量化和噪声鲁棒性优化的前提。本章将系统拆解这三部分内容，并给出工程落地的关键判断依据。
上图展示了 KWS 系统的完整链路：音频前端负责采集和端点检测，特征提取将原始波形转换为声学特征，模型推理完成关键词分类，后处理进行平滑和阈值判定。训练数据与标签设计贯穿整个链路，直接影响模型在真实场景中的鲁棒性。下面分别展开。
3.1 典型 KWS 架构：从音频流到唤醒决策
KWS 系统的核心设计原则是“永远在线、低功耗、快速响应”。典型的处理流程分为四个阶段：
- 音频前端：以 16kHz/16bit 采样率采集音频，通过语音活动检测（VAD）判断当前是否存在有效语音。VAD 可以基于能量阈值、过零率或简单的神经网络分类器。前端的作用是减少无效计算，延长电池续航。
- 特征提取：将 25ms 的音频帧（帧移 10ms）转换为 40 维 MFCC 或 FBank 特征。MFCC 适合传统 GMM 模型，FBank 更适合神经网络输入。特征提取的计算量约占整个系统的 10%-20%，在嵌入式平台上通常使用定点优化。
- 模型推理：这是系统的核心计算单元。模型接收连续的特征帧（通常为 20-50 帧，对应 200-500ms 的音频窗口），输出每个类别的概率分布。类别包括“关键词1”“关键词2”“非关键词”“静音”等。
- 后处理：对模型输出的概率序列进行时间平滑（如移动平均）、去抖（防止频繁触发）和阈值判定。常见的策略是“连续 N 帧超过阈值才触发”，以降低误唤醒率。
3.2 常用模型：CNN、DS-CNN 与 LSTM 的选型与对比
模型选择是 KWS 系统设计的核心决策点。不同模型在精度、参数量、计算量和时序建模能力上各有优劣。
| 模型类型 | 参数量 | 计算量 | 时序建模 | 抗噪能力 | 典型场景 |
|---|---|---|---|---|---|
| CNN（2D/1D） | 50-200K | 1-5M MACs | 弱（依赖窗口） | 中等 | 短词唤醒，资源极受限 |
| DS-CNN（深度可分离） | 100-300K | 0.5-3M MACs | 弱-中 | 中等 | 主流选择，平衡精度与效率 |
| LSTM/GRU | 200-500K | 5-20M MACs | 强（循环结构） | 强（长上下文） | 复杂命令词，高噪声环境 |
| CRNN（CNN+LSTM） | 300-600K | 8-25M MACs | 强 | 强 | 需要同时处理时频特征和时序 |
CNN 模型：将特征图视为二维图像（时间×频率），使用 2D 卷积提取局部模式。优点是结构简单、易于量化；缺点是无法显式建模长时序依赖，对连续语音中的关键词边界不敏感。
DS-CNN（Depthwise Separable CNN）：将标准卷积分解为深度卷积和逐点卷积，计算量降低 8-9 倍。Google 在 2018 年提出的 DS-CNN 在 KWS 任务上达到了与 LSTM 相当的精度，但参数量和计算量大幅减少。其结构通常为：3-5 层深度可分离卷积 + 全局平均池化 + 全连接分类层。
LSTM 模型：通过门控机制建模时间序列，能够利用前文信息判断当前帧是否属于关键词。在噪声环境下，LSTM 可以利用语音的时序连续性区分关键词和突发噪声。缺点是计算量大、量化难度高（LSTM 内部状态对量化误差敏感）。
3.3 训练数据与标签设计：决定鲁棒性的关键
KWS 模型的性能上限由训练数据决定。数据设计包括三个维度：正样本覆盖、负样本多样性、标签粒度。
3.3.1 正样本设计
正样本是包含关键词的语音片段。设计要点包括：
- 说话人多样性：至少覆盖 50-100 个不同性别、年龄、口音的说话人。每个说话人录制 10-50 条关键词。
- 环境多样性：在安静室内、车内、街道、厨房等不同噪声环境下录制，或通过数据增强模拟。
- 距离与角度：麦克风距离 0.5m-3m，角度 0°-360°。远场录音需要加入混响模拟。
- 语速与情感：正常语速、快速、慢速、带情绪（如兴奋、不耐烦）的发音。
3.3.2 负样本设计
负样本是“非关键词”的音频，用于训练模型区分关键词与其他声音。负样本的丰富程度直接影响误唤醒率。常见负样本类型：
- 非关键词语音：日常对话、电视声音、其他人说话，但不包含目标关键词。
- 环境噪声：白噪声、粉红噪声、空调声、风扇声、键盘敲击声、门铃声。
- 音乐与广告：电视广告、背景音乐，这些场景中误唤醒率往往较高。
- 近义词/混淆词：与关键词发音相似的词（如“小爱同学” vs “小艾同学”）。
3.3.3 标签设计策略
标签设计决定了模型的学习目标。KWS 常用的标签策略有三种：
| 策略 | 标签粒度 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 序列级标签 | 整个音频片段一个标签 | 简单，训练快 | 无法定位关键词位置 | 固定长度输入，短词唤醒 |
| 帧级标签 | 每一帧标注是否属于关键词 | 可精确定位，支持流式 | 标注成本高，边界模糊 | 需要输出触发时间的场景 |
| CTC 标签 | 帧级+空白标签 | 自动对齐，适合变长输入 | 训练复杂，需要解码 | 长命令词，连续语音 |
对于大多数嵌入式 KWS 场景，推荐使用帧级标签：将关键词的起始帧和结束帧之间的所有帧标记为正类，前后各留 2-3 帧作为过渡区（不参与损失计算）。这种设计让模型学习到“关键词的时序边界”，在流式推理时更稳定。
3.4 实战案例：DS-CNN 在噪声环境下的数据设计优化
下面通过一个实际案例说明数据设计如何影响噪声鲁棒性。
背景与约束：某智能音箱项目需要实现“小度小度”唤醒，目标误唤醒率 < 1 次/24 小时，唤醒率 > 95%（SNR 10dB 环境下）。设备使用 Cortex-M7 内核，内存 512KB，算力有限，因此选择 DS-CNN 模型。
初始现象：第一版模型在安静环境下唤醒率 98%，但在电视播放场景下误唤醒率高达 5 次/小时。分析发现，训练数据中负样本仅包含白噪声和静音，没有包含电视背景音。
关键输入数据：
- 正样本：120 人 × 20 条 = 2400 条，安静环境录制。
- 负样本：2000 条，其中 80% 为静音/白噪声，20% 为随机语音。
- 特征：40 维 FBank，25ms 窗，10ms 移，每帧 40 维。
分析判断过程：
- 检查模型在电视噪声下的输出概率分布，发现“小度小度”的概率在噪声段频繁超过 0.5 阈值。
- 对比正样本和负样本的特征分布，发现电视广告中的语音节奏与关键词相似，模型无法区分。
- 决定重新设计负样本：加入 500 小时电视节目音频，从中随机截取 3 秒片段作为负样本。
实际操作步骤：
# 数据增强策略
1. 从电视节目库中随机截取 3 秒音频，共 5000 条
2. 将负样本与正样本按 3:1 比例混合
3. 对正样本进行加噪增强：SNR 从 20dB 到 0dB 随机
4. 对负样本进行混响增强：模拟室内反射
5. 重新训练 DS-CNN，使用相同的模型结构结果对比：
| 指标 | 优化前 | 优化后 |
|---|---|---|
| 安静环境唤醒率 | 98.2% | 97.5% |
| 电视噪声误唤醒率 | 5次/小时 | 0.3次/小时 |
| SNR 10dB 唤醒率 | 82% | 93% |
| 模型参数量 | 180K | 180K（不变） |
风险与代价：增加负样本后，训练时间从 2 小时增加到 8 小时；模型在安静环境下的唤醒率略有下降（0.7%），但通过调整阈值（从 0.5 降至 0.45）可以恢复。此外，负样本库需要持续更新，以覆盖新出现的噪声场景。
复盘经验：KWS 的噪声鲁棒性主要靠数据而非模型结构。在模型选型确定后，应优先投入精力在负样本设计和数据增强上。建议建立“误唤醒日志”机制，定期将真实场景中的误触发音频加入训练集。
3.5 常见误区与总结
在 KWS 系统设计中，以下误区需要特别注意：
- 误区一：正样本越多越好。实际上，正样本的多样性（说话人、环境）比数量更重要。100 个说话人各录 10 条，优于 10 个说话人各录 100 条。
- 误区二：负样本只包含噪声即可。真实场景中，误唤醒主要来自“像关键词的语音”，而非纯噪声。必须加入大量非关键词语音。
- 误区三：标签越精细越好。帧级标签虽然精确，但标注不一致会导致模型训练不稳定。建议在标注规范中明确“关键词边界”的定义（如以第一个音素开始到最后一个音素结束）。
- 误区四：忽略静音类。模型需要显式区分“静音”和“非关键词语音”，否则在无语音输入时会产生随机输出。