2、语音命令识别基础：语音信号基本概念、特征提取（MFCC、滤波器组）、命令识别任务定义
语音命令识别是端侧AI部署中最具代表性的场景之一：它要求模型在有限的算力、内存和功耗预算下，对短时语音指令（如“打开灯”、“停止播放”、“上一首”）做出实时响应。与连续大词汇量语音识别不同，命令识别任务通常只涉及几十个固定词条，但需要更低的延迟和更高的鲁棒性。要构建一个可部署到ONNX Runtime的语音命令识别系统，首先需要理解语音信号的本质、如何从原始波形中提取紧凑且判别性强的特征，以及如何将任务形式化定义。本章将围绕这三个核心问题展开，为后续的模型训练与端侧优化打下理论基础。
上图展示了从原始语音信号到模型输入张量，再到任务定义与端侧部署约束的完整链路。在后续章节中，我们将逐一拆解每个环节的数学原理与工程实现细节。
2.1 语音信号基本概念：从波形到数字表示
语音信号本质上是空气压力随时间变化的机械波，通过麦克风转换为模拟电信号后，需要经过采样、量化和编码才能成为计算机可处理的数字信号。在端侧语音命令识别场景中，最常用的配置是16kHz采样率、16bit量化、单声道PCM格式。16kHz采样率意味着每秒钟采集16000个样本点，根据奈奎斯特定理，这可以无失真地表示最高8kHz的频率成分，而人类语音的绝大部分能量集中在300Hz~3.4kHz之间，因此16kHz采样率对于命令识别任务已经足够。
语音信号具有两个关键特性：短时平稳性和非平稳性。在10~30ms的时间尺度内，语音信号的频谱特性可以认为是相对稳定的，这为分帧处理提供了理论依据；但从更长的时间尺度看，语音的频谱特性随发音内容的变化而快速改变。因此，我们需要将连续的语音流切分为短时帧，并对每一帧独立提取特征。
- 采样率（Sample Rate）：16kHz，每帧包含的样本点数 = 16000 × 0.025 = 400个样本
- 帧长（Frame Length）：25ms，对应400个采样点
- 帧移（Frame Shift）：10ms，对应160个采样点，相邻帧有60%的重叠
- 窗函数：Hamming窗，用于减少频谱泄漏
分帧后，每一帧信号需要乘以窗函数。Hamming窗的表达式为：w(n) = 0.54 - 0.46 × cos(2πn/(N-1))，其中N为帧长。加窗的目的是让帧边缘的幅值平滑过渡到零，避免FFT变换时因信号截断产生的高频泄漏。如果不加窗，频谱中会出现明显的“栅栏效应”，导致特征质量下降。
2.2 特征提取：从频谱到MFCC与滤波器组
语音特征提取的目标是将每一帧的时域信号转换为紧凑、判别性强的频域表示。最常用的两类特征是梅尔频率倒谱系数（MFCC）和滤波器组特征（Filter Bank，FBank）。两者都基于人类听觉系统对频率的非线性感知特性——梅尔刻度（Mel Scale）。
梅尔刻度与线性频率的转换关系为：Mel(f) = 2595 × log10(1 + f/700)。在梅尔刻度上，人耳对频率的分辨率是均匀的，因此将线性频谱映射到梅尔刻度后，可以更好地模拟人耳的听觉特性。特征提取的完整流程如下：
- 预加重：使用一阶高通滤波器 y(t) = x(t) - α × x(t-1)，其中α通常取0.97。预加重可以提升高频分量，补偿语音信号在传播过程中的高频衰减。
- 分帧与加窗：按25ms帧长、10ms帧移切分信号，并乘以Hamming窗。
- FFT变换：对每一帧做N点FFT（通常N=512），得到线性幅度谱。
- 梅尔滤波器组：设计M个三角滤波器（通常M=40），在梅尔刻度上等间隔分布，将线性频谱映射到梅尔频谱。
- 取对数：对滤波器组输出取自然对数，得到对数梅尔频谱，即FBank特征。
- DCT变换（仅MFCC）：对FBank特征做离散余弦变换（DCT），取前12~13个系数作为MFCC特征。
- 动态特征：计算一阶差分（Δ）和二阶差分（ΔΔ），拼接后得到完整的特征向量。
| 对比维度 | MFCC | FBank（滤波器组） |
|---|---|---|
| 特征维度 | 13维（+Δ+ΔΔ=39维） | 40维（+Δ+ΔΔ=120维） |
| 信息保留 | DCT去相关，丢弃部分细节 | 保留全部滤波器组能量 |
| 适用模型 | 传统GMM-HMM、小模型 | 深度学习模型（CNN/RNN） |
| 计算量 | 多一步DCT，略高 | 较低 |
| 端侧部署建议 | 适合内存极小的MCU | 适合算力充足的移动端/嵌入式 |
2.3 命令识别任务定义：输入、输出与评估
语音命令识别任务可以形式化定义为：给定一段短时语音信号X（通常为1~2秒），模型需要从预定义的命令词表C = {c₁, c₂, ..., c_K}中预测出最可能的命令类别ŷ。与连续语音识别不同，命令识别不需要输出文字序列，而是直接输出类别标签。这使得任务可以建模为序列分类问题，而非序列到序列的转录问题。
在模型输入层面，经过特征提取后，一段1秒的语音（16kHz采样率）会产生约98帧特征（(1000-25)/10 + 1 ≈ 98）。如果使用40维FBank特征，则输入张量形状为[1, 98, 40]（batch_size, time_steps, feature_dim）。对于CNN模型，通常将特征视为单通道图像，形状为[1, 1, 98, 40]；对于Transformer模型，则直接使用序列形式。
在输出层面，模型通常使用Softmax层输出K+1个类别的概率分布，其中额外的一个类别用于表示“未知/静音”。训练时使用交叉熵损失函数，推理时取概率最大的类别作为预测结果。为了提升鲁棒性，还可以引入“置信度阈值”——当最大概率低于某个阈值（如0.7）时，模型输出“未知”而非强行分类。
2.4 实战场景：基于Google Speech Commands数据集的任务定义
为了更具体地说明任务定义过程，我们以经典的Google Speech Commands数据集（V2版本）为例。该数据集包含35个英文单词，如“yes”、“no”、“up”、“down”、“left”、“right”、“on”、“off”、“stop”、“go”等，每个词约2000条录音，总时长约23小时。每条录音时长1秒，采样率16kHz。
在实际项目中，我们通常选择其中10~20个命令词作为目标类别，其余词归为“未知”类，再加上“静音”类，构成完整的分类体系。例如，一个智能家居场景的命令集可以定义为：
命令词表（12类）：
1. "打开灯" (turn_on_light)
2. "关闭灯" (turn_off_light)
3. "调高亮度" (brightness_up)
4. "调低亮度" (brightness_down)
5. "打开空调" (turn_on_ac)
6. "关闭空调" (turn_off_ac)
7. "温度升高" (temperature_up)
8. "温度降低" (temperature_down)
9. "播放音乐" (play_music)
10. "停止播放" (stop_music)
11. "静音" (mute)
12. "未知" (unknown) + "静音" (silence)在数据预处理阶段，每条1秒的音频经过特征提取后得到[98, 40]的FBank特征。为了增强模型的泛化能力，通常还会进行数据增强，包括：添加背景噪声（信噪比0~15dB）、时间偏移（±100ms）、音调变换（±2个半音）等。增强后的数据可以扩大训练集规模，提升模型在真实环境中的鲁棒性。
在模型评估阶段，除了整体准确率外，还需要关注混淆矩阵和每类别的精确率/召回率。特别是对于“未知”类别，如果召回率过低，模型会把未知词误判为已知命令，导致误触发；如果精确率过低，模型会把已知命令拒之门外，影响用户体验。因此，在端侧部署时，通常需要根据实际场景调整置信度阈值，在准确率和召回率之间取得平衡。
2.5 常见误区与总结复盘
在语音命令识别的基础学习阶段，以下几个误区需要特别警惕：
- 误区一：采样率越高越好。虽然高采样率能保留更多高频信息，但也会增加计算量和内存占用。对于命令识别，16kHz已经足够，盲目使用48kHz采样率只会增加端侧部署的负担。
- 误区二：MFCC一定优于FBank。在传统GMM-HMM时代，MFCC是标配；但在深度学习时代，FBank往往表现更好。不要盲目套用旧经验，应根据模型类型和部署平台选择特征。
- 误区三：忽略帧移对延迟的影响。帧移决定了特征提取的时间分辨率。10ms帧移意味着每10ms产生一帧特征，如果模型推理时间超过100ms，就会造成特征积压，增加端到端延迟。在实时性要求高的场景，可以适当增大帧移（如20ms），但会损失时间分辨率。
- 误区四：训练和推理的特征提取不一致。这是最隐蔽的错误。如果在训练时使用librosa库提取特征，而推理时使用自研C++代码提取特征，两者在预加重系数、窗函数、FFT点数等细节上的微小差异都会导致性能下降。在ONNX Runtime部署时，建议将特征提取逻辑也封装为ONNX算子，确保训练和推理完全一致。