2、TinyML语音识别基础：回顾语音唤醒词、命令词识别的基本流程，理解特征提取（MFCC等）、模型结构（DNN/CNN/RNN）与部署约束

TinyML语音识别与云端语音识别最大的差异在于：它必须在内存受限（通常RAM小于512KB）、Flash小于1MB、无GPU、无网络连接的MCU上完成实时推理。理解这一前提，是评估准确率、误触发率与延迟指标的基础。本章将系统梳理语音唤醒词（Wake Word）与命令词（Command Word）识别的基本流程，深入剖析MFCC特征提取的数学本质与工程取舍，对比DNN/CNN/RNN在MCU上的适配性，并明确部署约束如何反向影响模型设计与评估策略。

2.1 语音唤醒与命令词识别的基本流程

TinyML语音识别通常采用两级流水线架构：第一级是轻量级唤醒词检测器（Wake Word Detector），持续监听环境声音，仅在检测到特定唤醒词（如"Hey Siri"、"小爱同学"）后才激活第二级命令词识别器。这种设计源于功耗与算力的双重约束——若让完整的命令词识别模型始终运行，MCU的功耗将无法满足电池供电场景的需求。

完整的处理流程包含以下五个关键阶段：

1. 音频采集：使用PDM（Pulse Density Modulation）或I2S接口的MEMS麦克风，以16kHz采样率、16bit量化精度采集单声道音频。每帧时长通常为30ms（480个采样点），帧移20ms（320个采样点），形成10ms的重叠区以避免帧边界截断语音。
2. 预处理：包括预加重（pre-emphasis，系数通常为0.97，用于提升高频分量）、分帧加窗（Hamming窗或Hanning窗，减少频谱泄漏）、以及可选的VAD（Voice Activity Detection）静音检测。VAD在TinyML中尤为重要——它能在无语音时让MCU进入低功耗模式，显著降低平均功耗。
3. 特征提取：将时域波形转换为频域特征。最常用的是MFCC（Mel-Frequency Cepstral Coefficients），也可使用Log-Mel谱或原始波形（需配合端到端模型）。特征维度通常为10~13维MFCC，加上一阶差分（Delta）和二阶差分（Delta-Delta）后总维度可达30~39维。
4. 模型推理：将特征序列输入神经网络模型。唤醒词模型通常采用帧级分类（每帧独立判断），命令词模型则采用序列级分类（需累积多帧上下文）。模型输出为各类别的概率分布。
5. 决策输出：对模型输出进行后处理，包括阈值判断、平滑滤波（如滑动窗口平均）、以及去抖逻辑（防止单帧误判导致频繁触发）。最终输出唤醒信号或命令词ID。

2.2 MFCC特征提取：原理与工程实现

MFCC是TinyML语音识别中最常用的特征，其设计灵感来源于人耳听觉特性——人耳对频率的感知是非线性的，对低频更敏感，对高频较迟钝。MFCC通过Mel滤波器组模拟这一特性，将线性频率映射到Mel刻度上。

MFCC提取的完整计算流程如下：

1. FFT变换：对每帧480个采样点做512点FFT（零填充至512点），得到功率谱。频率分辨率为16000/512 = 31.25Hz。
2. Mel滤波器组：设计20~40个三角滤波器，在Mel刻度上等间距排列。Mel频率与线性频率的转换公式为：Mel(f) = 2595 × log10(1 + f/700)。滤波器组覆盖范围通常为300Hz~8000Hz（去除低频噪声和奈奎斯特频率以上的分量）。
3. 对数压缩：对每个滤波器的输出取自然对数，模拟人耳对音量的对数感知。
4. DCT变换：对对数能量做离散余弦变换（DCT），取前10~13个系数作为MFCC。DCT的作用是去相关，使各维度特征相互独立，便于后续模型训练。
5. 动态特征：计算一阶差分（Delta）和二阶差分（Delta-Delta），捕捉语音的动态变化信息。Delta的计算公式为：d(t) = [c(t+2) - c(t-2)] / 4，其中c(t)为第t帧的静态MFCC。

2.3 模型结构对比：DNN / CNN / RNN在MCU上的适配性

TinyML语音识别模型的选择需要在准确率、参数量、计算量、内存占用四个维度间权衡。以下从工程角度对比三种主流结构：

DNN（全连接网络）是最轻量的选择。典型结构为：输入层（39维MFCC+Delta）→ 隐藏层（64~128个神经元，ReLU激活）→ 输出层（唤醒词/命令词类别数，Softmax）。DNN的参数量通常在10K~50K之间，量化后模型大小仅10~50KB。其优势在于计算简单、内存占用极低，适合唤醒词检测；劣势在于无法有效建模时序依赖，对连续语音的区分能力有限。

CNN（卷积神经网络）通过2D卷积核同时捕捉频域和时域的局部模式。典型结构为：输入层（时间帧×MFCC维度的2D特征图）→ 2~3层卷积（3×3或5×3卷积核）→ 全局池化 → 全连接输出。CNN的参数量通常在50K~200K之间，量化后模型大小50~200KB。其优势在于对噪声鲁棒性好，能提取局部频带特征；劣势在于计算量较大，且需要缓存多帧特征图（RAM占用增加）。

RNN（循环神经网络）（包括LSTM/GRU）天然适合时序建模。典型结构为：输入层（每帧MFCC）→ 1~2层GRU（隐藏单元32~64）→ 全连接输出。RNN的参数量在30K~150K之间，但计算复杂度较高——GRU的每个时间步需要多次矩阵乘法，且存在循环依赖，难以并行化。在MCU上，RNN的推理延迟通常是DNN的3~5倍。

2.4 部署约束对模型设计与评估的反向影响

TinyML的部署约束不是"事后优化"，而是设计之初就必须考虑的前置条件。以下从四个维度分析约束如何影响模型与评估策略：

（1）内存约束决定模型上限。以STM32F4系列（RAM 192KB，Flash 1MB）为例，若特征缓存占用30KB，模型权重占用100KB，则留给运行时缓冲区（激活值、中间结果）的空间仅剩60KB。这意味着模型的最大激活值尺寸（activation size）不能超过60KB。因此，CNN的feature map尺寸、RNN的隐藏状态维度都需严格计算。

（2）算力约束决定帧率与延迟。MCU的主频通常在80~200MHz之间，且多数无FPU（浮点单元）。以100MHz Cortex-M4为例，每秒可执行约1亿次整数运算。若模型每帧需要50K MACs（乘加运算），则每秒处理50帧（帧移20ms）需要2.5M MACs，仅占CPU算力的2.5%，看似充裕。但实际中还需考虑特征提取（FFT+MFCC约需5M MACs/秒）、系统调度、中断处理等开销，总CPU占用率可能达到30%~50%。

（3）功耗约束影响工作模式设计。电池供电设备（如智能手表、无线耳机）的平均功耗需控制在1mA以下。这意味着系统必须采用"间歇性工作"模式：VAD检测到静音时，MCU进入睡眠状态（电流<10μA）；检测到语音时，唤醒并完成特征提取+推理（电流5~15mA）。这种模式下的评估指标需要增加"有效工作时间比"——即系统处于活跃状态的时间占比，直接影响电池续航。

（4）实时性约束决定评估指标权重。用户可感知的延迟包括：语音结束到输出结果的推理延迟（通常要求<100ms）、以及唤醒词检测的响应延迟（通常要求<300ms）。在评估时，不能只看平均延迟，还需关注P95/P99延迟——因为MCU上的中断处理、内存访问冲突可能导致个别帧延迟显著增大。

2.5 案例拆解：基于Cortex-M4的唤醒词模型设计与评估

以下通过一个实际案例，展示部署约束如何贯穿模型设计全过程。

项目背景：为一款蓝牙耳机设计"Hey Buds"唤醒词检测功能。硬件平台为Nordic nRF52840（Cortex-M4F，64MHz，RAM 256KB，Flash 1MB），电池容量80mAh，目标续航≥8小时。

初始约束分析：

• 内存预算：模型权重≤80KB，运行时缓冲区≤40KB，特征缓存≤20KB
• 算力预算：特征提取+推理总耗时≤30ms/帧（帧移20ms，需留50%余量）
• 功耗预算：平均电流≤0.8mA（80mAh/8h/0.9效率）

模型选型过程：

1. 初步尝试3层DNN（输入39维MFCC+Delta，隐藏层128+64，输出2类），参数量约12K，量化后12KB。实测准确率91%，但误触发率高达每小时3次。
2. 改用2层CNN（输入10帧×13维MFCC，卷积核3×3，通道数16/32），参数量约45K，量化后45KB。准确率提升至95%，误触发率降至每小时0.5次。但推理耗时增至28ms，接近预算上限。
3. 进一步优化：将MFCC从13维降至10维，帧数从10帧减至8帧，CNN通道数从32降至24。参数量降至32K，推理耗时22ms，准确率94.5%，误触发率每小时0.6次。

实测数据对比：

最终决策：选择CNN-24方案。虽然准确率比CNN-32低0.5%，但误触发率仅增加0.1次/小时，且平均电流降低19%，续航从7.2小时提升至8.6小时，满足设计目标。

复盘经验：（1）误触发率是TinyML唤醒词的第一指标，用户对误触发的容忍度远低于对漏唤醒的容忍度；（2）模型压缩的边际收益递减——从45K压缩到32K参数量，准确率仅下降0.5%，但功耗下降19%，性价比极高；（3）评估必须在目标硬件上进行——PC上的浮点推理结果与MCU上的定点推理结果可能存在1%~2%的准确率差异。

2.6 常见误区与总结

在TinyML语音识别的基础设计中，以下误区需要特别警惕：