3、频谱特征详解：功率谱、梅尔频谱、梅尔频率倒谱系数（MFCC）的提取流程与常用参数

在TinyML音频感知任务中，无论是关键词唤醒（KWS）、环境声音分类还是异常检测，原始音频波形几乎从不直接作为模型输入。原因在于：16kHz采样率下，1秒音频包含16000个采样点，直接送入神经网络不仅计算量巨大，而且波形中蕴含的时序冗余和噪声干扰会显著降低模型鲁棒性。频谱特征的核心价值在于将时域信号变换到频域，以更紧凑、更符合人类听觉机理的方式表征音频内容。本章将系统拆解功率谱、梅尔频谱和MFCC三种特征的数学原理、提取流程、常用参数配置，并重点讨论在Int8量化场景下这些特征对模型精度的影响。

3.1 功率谱：从时域到频域的第一跳

核心原理

功率谱（Power Spectrum）描述信号功率在频域上的分布情况。对于离散音频信号x[n]，首先通过短时傅里叶变换（STFT）将信号分解为时间和频率的二维表示。每一帧信号x_m[n]（m为帧索引）经过N点FFT后得到复数频谱X_m(k)，其中k对应频率bin。功率谱定义为：

P_m(k) = |X_m(k)|² = Re(X_m(k))² + Im(X_m(k))²

功率谱保留了幅度信息而丢弃相位信息。在TinyML场景中，相位信息通常被认为对分类任务贡献有限，而丢弃相位可以显著减少数据量——这正是功率谱作为特征的第一步压缩。

提取流程与参数

1. 预加重：通过一阶高通滤波器y[n]=x[n]-α·x[n-1]提升高频分量，典型α=0.97。语音信号高频能量衰减较快，预加重可平衡频谱动态范围。
2. 分帧：将连续信号切分为短时平稳帧，常用帧长25ms（400样本@16kHz）、帧移10ms（160样本），保证相邻帧有50%重叠。
3. 加窗：对每帧乘以汉明窗w[n]=0.54-0.46·cos(2πn/(N-1))，减少频谱泄漏。
4. FFT：对加窗后的帧做N点FFT，N通常取512或1024（需≥帧长）。若帧长400，则补零至512点。
5. 取模平方：计算|X(k)|²得到功率谱。

案例拆解：功率谱动态范围对Int8量化的影响

假设一段语音信号，静音段功率谱值约为10⁻⁶，而元音段峰值可达10⁻¹，动态范围跨越5个数量级。若直接对功率谱做Int8量化（范围[-128,127]），量化尺度scale=(max-min)/255≈0.0004，静音段的值将被压缩到0附近，导致信息完全丢失。因此，功率谱通常需要经过对数压缩后再进入量化流程，这也是梅尔频谱引入log操作的根本原因。

3.2 梅尔频谱：模拟人耳听觉的非线性变换

核心原理

人耳对频率的感知并非线性，在低频段对频率变化更敏感，高频段则逐渐迟钝。梅尔刻度（Mel Scale）通过以下公式模拟这种感知特性：

mel(f) = 2595 × log10(1 + f/700)

梅尔频谱的构建过程是将功率谱通过一组三角带通滤波器组，每个滤波器的中心频率在梅尔刻度上等间距排列，在赫兹刻度上则随频率升高而逐渐展宽。这种非线性映射使得特征在低频段具有更高分辨率，更符合语音识别和音频分类的生物学基础。

提取流程与常用参数

1. 功率谱计算：沿用3.1节流程得到P(k)。
2. 梅尔滤波器组设计：在梅尔刻度上均匀取M个点（通常M=40），映射回赫兹刻度得到中心频率f_c(m)，每个滤波器为三角形状，起始于前一个滤波器中心，终止于后一个滤波器中心。
3. 滤波：将功率谱与滤波器组相乘并求和，得到M维梅尔能量：E(m)=Σₖ P(k)·H_m(k)，其中H_m(k)为第m个滤波器的频率响应。
4. 对数压缩：取log(E(m)+ε)，ε为极小常数（如1e-10）避免log(0)。对数操作将乘性噪声变为加性噪声，同时压缩动态范围。

实战场景：40维梅尔频谱在KWS中的Int8部署

以“Hey TensorFlow”关键词检测为例，输入为1秒音频，提取40维梅尔频谱，时间帧数约97帧（1s/10ms+1），特征矩阵尺寸为97×40=3880个值。在Int8量化后，每个特征值占1字节，总内存占用仅3.8KB，非常适合Cortex-M4级别的MCU。但需注意：若使用非对称量化（per-tensor），需要为每个特征维度单独计算scale和zero-point，这会增加存储开销。实际工程中常采用per-channel量化，将40个维度的scale存储为40个float32值（160字节），在可接受范围内。

3.3 MFCC：倒谱域中的特征压缩与去相关

核心原理

梅尔频率倒谱系数（MFCC）在梅尔频谱基础上进一步做离散余弦变换（DCT），将频谱包络与细节分离。DCT具有接近Karhunen-Loève变换的去相关性能，能将梅尔频谱中高度相关的相邻频带能量压缩到少数系数中。通常只保留前13~20个DCT系数，丢弃高阶系数（代表频谱快速变化部分，多为噪声和说话人个性信息）。

提取流程

1. 梅尔频谱计算：得到M维log梅尔能量。
2. DCT变换：C(n)=Σₘ E(m)·cos(n·(m+0.5)·π/M)，n=0,1,...,L-1，其中L为保留系数个数。
3. 特征选择：通常保留C(0)~C(L-1)，L=13或20。C(0)代表信号总能量，常被丢弃以避免麦克风增益影响。
4. 动态特征（可选）：计算一阶差分ΔMFCC和二阶差分ΔΔMFCC，捕捉时序变化，但会显著增加特征维度。

案例拆解：MFCC维度选择对量化精度的影响

在Cortex-M7（主频400MHz）上部署环境声音分类模型，对比三种特征配置：

• 配置A：40维梅尔频谱，per-tensor Int8量化，准确率92.3%
• 配置B：13维MFCC（含C0），per-tensor Int8量化，准确率88.7%
• 配置C：13维MFCC（丢弃C0），per-channel Int8量化，准确率91.8%

分析发现：配置B的精度下降主要源于C0的量化误差——C0值约为其他系数的20倍，导致量化尺度被拉大，其余12个系数的有效量化位数不足4bit。配置C通过丢弃C0并采用per-channel量化，将精度损失控制在0.5%以内。该案例表明：MFCC在Int8部署中并非天然优于梅尔频谱，需要精细的量化策略配合。

3.4 三种特征对比与Int8量化综合评估

选择建议

• 内存优先：选择13维MFCC（丢弃C0），每帧仅13字节，1秒音频约1.3KB。
• 精度优先：选择40维梅尔频谱，配合per-channel量化，精度损失最小。
• 计算优先：选择26维梅尔频谱，滤波器组计算量比40维少35%，且无需DCT。

常见误区与复盘

• 误区一：认为MFCC一定优于梅尔频谱。实际上，在Int8量化下，MFCC的DCT去相关特性可能被量化噪声破坏，导致精度反而不如梅尔频谱。
• 误区二：忽略预加重步骤。预加重能提升高频信噪比，在Int8量化下尤其重要——高频段信号幅度小，若不预加重，量化后可能完全丢失。
• 误区三：对所有特征统一使用per-tensor量化。不同频带能量差异大，per-channel量化虽然增加少量存储，但能显著提升精度。
• 误区四：在MCU上直接调用float log函数。应使用定点LUT实现log，否则计算延迟可能增加5~10倍。

在实际工程中，建议先使用float32模型确定最优特征配置，然后使用TensorFlow Lite Micro的量化工具进行Int8转换，并通过量化感知训练（QAT）微调模型参数。最终在目标硬件上验证精度和延迟，根据实测数据调整特征参数——例如，若发现高频段量化误差过大，可适当降低滤波器组最高频率或增加高频段滤波器密度。