3、音频特征提取：从原始波形到特征图，常用特征（MFCC、梅尔谱、滤波器组）及其在TinyML中的适用性
TinyML音频模型面临的第一个核心问题，不是网络结构有多深，而是“喂给网络的是什么”。原始音频波形是一维时序信号，采样率通常在8kHz到16kHz之间，直接输入卷积神经网络（CNN）不仅计算量巨大，而且难以捕捉人耳感知相关的频域特征。音频特征提取的本质，是将一段时域波形转换为适合CNN处理的二维“特征图”（类似图像），同时尽可能保留对任务（如关键词识别、声事件检测）有判别力的信息，并丢弃冗余与噪声。本章将系统梳理MFCC、梅尔谱、滤波器组三种主流特征，从计算原理、工程实现到TinyML部署约束，给出可落地的选型建议。
3.1 从波形到特征图：预处理链路与核心原理
无论选择哪种特征，前端的预处理链路基本一致，差异仅在于后续变换的深度。原始音频首先经过预加重（通常为一阶高通滤波器，系数α≈0.97），目的是提升高频分量——因为语音和许多环境声的高频能量天然衰减更快，预加重能平衡频谱，使后续特征更稳定。随后进行分帧：音频是非平稳信号，但在一段极短时间内（20-40ms）可视为平稳，因此按帧截取。典型配置为帧长25ms、帧移10ms，即相邻帧有15ms重叠，避免帧边界处的信息丢失。每帧数据乘以汉明窗（Hamming Window）以抑制频谱泄漏，然后执行快速傅里叶变换（FFT），得到该帧的幅度谱。
经过上述步骤，每一帧产生一个频谱向量，将所有帧的频谱按时间堆叠，就形成了“时间-频率”二维矩阵。例如，1秒的16kHz音频，按25ms/10ms分帧得到约100帧，每帧做512点FFT得到257个频点，特征图尺寸为100×257。这个尺寸对TinyML仍然过大，因此需要进一步压缩到40-64个频带，这就是滤波器组的作用。
3.2 三种常用特征：滤波器组、梅尔谱与MFCC
三种特征的核心区别在于“对频谱进行何种非线性变换”。滤波器组（Filter Banks，FBank）是最接近物理频谱的特征：将FFT幅度谱通过一组三角带通滤波器（通常40个），滤波器中心频率在梅尔刻度上等间距分布，输出每个频带的能量。梅尔刻度模拟人耳对频率的非线性感知——低频分辨率高、高频分辨率低。FBank保留了完整的频谱包络信息，但相邻频带之间存在较强相关性，且数值动态范围大（可能跨越多个数量级）。
梅尔谱（Mel Spectrogram）在FBank基础上增加了一步对数压缩：对每个滤波器输出取log。这一步至关重要，因为人耳对声音响度的感知是对数级的，且log压缩能缩小动态范围，使特征对音量变化更鲁棒。梅尔谱的数值范围通常在0到10左右，更适合作为CNN输入，无需额外归一化即可训练。
MFCC（Mel-Frequency Cepstral Coefficients）在梅尔谱之上再做离散余弦变换（DCT），取前12-13个系数作为最终特征。DCT的作用是去相关，将频域能量重新排列为倒谱系数，使得各维度之间近似独立。MFCC是传统语音识别（如GMM-HMM）的黄金标准，因为它维度低、判别力强。但在深度学习中，DCT去相关反而可能丢失信息——CNN本身就能学习特征间的相关性，额外的DCT变换不仅增加计算量，还可能降低精度。
| 对比维度 | 滤波器组（FBank） | 梅尔谱（Mel Spec） | MFCC |
|---|---|---|---|
| 计算链路 | FFT → Mel滤波 | FFT → Mel滤波 → log | FFT → Mel滤波 → log → DCT |
| 特征维度（典型） | 40×帧数 | 40×帧数 | 13×帧数 |
| 数值范围 | 0 ~ 数千 | 0 ~ 10 | -10 ~ 10 |
| 计算量（相对） | 1× | 1.1× | 1.5×（DCT开销） |
| CNN精度（典型） | 最高 | 接近FBank | 略低1-3% |
| TinyML适用性 | ★★★★★ | ★★★★☆ | ★★☆☆☆ |
3.3 TinyML部署约束下的特征选型与工程实现
TinyML设备（如Cortex-M4/M7微控制器）的资源约束极为苛刻：Flash通常256KB-1MB，RAM 64-256KB，CPU主频几十到几百MHz，且没有FPU（浮点单元）或只有单精度FPU。这意味着特征提取必须满足三个硬性指标：低RAM占用、低计算量、可定点化。
滤波器组是TinyML的默认首选。原因有三：其一，FBank省去了log和DCT运算，在MCU上可节省约30-40%的特征提取时间；其二，FBank的数值范围大，但通过全局均值方差归一化或批量归一化（BN）层即可解决，CNN对输入分布不敏感；其三，FBank保留了完整的频谱细节，在关键词识别（KWS）任务中，其精度通常比MFCC高1-2%。实际部署时，推荐使用40维FBank，帧长30ms、帧移20ms（减少帧数可降低计算量），配合8-bit量化，单帧特征提取仅需约5-10ms（Cortex-M4 @ 80MHz）。
梅尔谱是FBank与MFCC之间的折中。log运算在MCU上可用查表法实现（预计算0-1000的log表），额外开销约10%。如果模型对动态范围敏感（如包含噪声鲁棒性要求），梅尔谱是更稳妥的选择。但需要注意，log查表法会引入量化误差，建议使用定点Q格式（如Q12）存储特征值。
MFCC在TinyML中不推荐。DCT变换需要矩阵乘法（13×40），虽然计算量不大，但DCT去相关后特征维度降低，CNN需要更深的网络才能恢复信息，反而增加模型参数量。此外，MFCC的倒谱系数对噪声更敏感，在低信噪比环境下精度下降明显。仅在兼容传统特征流水线（如与GMM-HMM后端对接）时才考虑使用。
3.4 实战案例：Cortex-M4上的关键词识别特征流水线
某智能家居项目需要在Cortex-M4（STM32F412，主频100MHz，RAM 256KB）上实现“小爱同学”唤醒词检测，要求特征提取+推理总延迟<100ms，RAM占用<50KB。初始方案采用MFCC（13维）+ 全连接网络，实测特征提取耗时45ms，模型推理35ms，总延迟80ms，看似达标，但精度仅91%，且RAM峰值达到68KB（MFCC中间变量多）。
分析发现：MFCC的DCT矩阵需要13×40×4字节≈2KB存储，且每帧需额外计算DCT；更重要的是，13维特征信息量不足，模型需要更多参数才能拟合，导致Flash占用超标。改用40维FBank + 2层CNN（8通道+16通道）后，特征提取耗时降至18ms（省去log和DCT），模型推理22ms，总延迟40ms。RAM峰值降至31KB（FBank中间结果直接送入CNN，无需缓存全部帧）。精度提升至94.5%。
具体实现中，FFT采用定点基-2蝶形算法（Q15格式），Mel滤波器系数预先计算并存储为16-bit整数表。关键优化点：
- 帧移从10ms调整为20ms：1秒音频帧数从100降至50，特征图尺寸减半，CNN计算量降低40%。
- 频带裁剪：仅保留0-4kHz的25个Mel频带（原始40个），因为唤醒词能量集中在低频。
- 环形缓冲区：使用DMA双缓冲采集音频，特征提取与推理流水线并行，隐藏I/O延迟。
最终系统在80MHz主频下实测：特征提取15ms，推理20ms，总延迟35ms，满足唤醒词检测的实时性要求。复盘经验：特征维度的选择应服从于模型容量，而非传统经验——在TinyML中，更宽的特征图（更多频带）往往比更深的网络更有效。
arm_rfft_q15()和arm_fir_q15()函数，这些函数已针对Cortex-M内核优化，比手写代码快3-5倍。
3.5 常见误区与总结复盘
误区一：MFCC是“标准特征”，必须使用。这是传统语音识别留下的惯性思维。在端到端深度学习中，FBank和梅尔谱几乎总是优于MFCC，因为CNN能自动学习特征变换，人为的DCT去相关反而限制了信息流。
误区二：特征提取精度越高越好。TinyML场景下，特征提取的一致性比精度更重要。训练时使用的特征提取参数（帧长、帧移、滤波器数量）必须与部署时完全一致，任何微小的差异（如FFT点数不同）都会导致训练-部署失配，精度骤降。
误区三：忽略归一化。FBank的数值范围大，如果不做归一化，CNN训练会非常不稳定。推荐在模型第一层之后立即加入批量归一化（BN），或在特征提取阶段做在线均值方差归一化（使用滑动平均）。注意：BN层在推理时需折叠为线性变换，避免额外计算。
误区四：所有任务都用同一套特征参数。关键词识别（KWS）适合40维FBank+帧移20ms；声事件分类（如玻璃破碎声）需要更高频率分辨率，建议使用64维梅尔谱+帧移10ms；而异常声音检测（工业设备）可能只需要16维FBank，因为低频故障特征占主导。特征参数应作为超参数进行网格搜索。