4、特征提取方法：MFCC、Fbank、PLP、Delta特征、特征归一化与增强
语音信号本质上是非平稳的时变信号，直接使用原始波形或简单频谱进行建模，不仅维度高、冗余大，而且难以捕捉人耳听觉感知的关键规律。特征提取的目标是将一段语音波形转化为一组紧凑、稳健、判别力强的参数序列，作为声学模型（如GMM-HMM、DNN、Transformer）的输入。本章围绕语音识别中最核心的六类特征处理技术展开：MFCC、Fbank、PLP、Delta特征、特征归一化与特征增强，从原理推导、实现流程、工程对比到实战调优，建立完整的语音前端特征工程知识体系。
4.1 核心原理：从波形到声学特征的本质
语音特征提取的底层逻辑建立在两个基本事实之上：人耳听觉的非线性感知特性与语音信号的短时平稳性。人耳对频率的感知并非线性，而是遵循近似对数的Mel尺度或Bark尺度；对音强的感知也呈现压缩特性。因此，特征提取并非简单地做频谱分析，而是模拟听觉系统对频谱进行非线性重映射、压缩和去相关处理。
从信息论角度看，原始语音波形采样率16kHz时，每帧25ms包含400个采样点，直接作为特征维度高且冗余严重。经过特征提取后，每帧通常压缩为39~80维（含动态特征），在保留足够判别信息的同时大幅降低模型输入维度。特征提取的另一个重要作用是去相关——MFCC通过DCT变换将Mel频谱的相关性去除，使各维度近似独立，这对使用对角协方差矩阵的GMM模型尤为重要；而Fbank保留相关性，更适合DNN类模型通过全连接层自行学习特征间关系。
核心公式速览：
- Mel频率映射：
Mel(f) = 2595 × log₁₀(1 + f/700) - Bark频率映射：
Bark(f) = 13·arctan(0.00076f) + 3.5·arctan((f/7500)²) - Delta计算：
Δdₜ = (Σₙ₌₁ᴺ n·(dₜ₊ₙ - dₜ₋ₙ)) / (2·Σₙ₌₁ᴺ n²)，通常N=2
4.2 三大特征提取方法详解
4.2.1 MFCC（Mel频率倒谱系数）
MFCC是语音识别中最经典的特征，其完整流程为：预加重→分帧加窗→FFT→功率谱→Mel滤波器组→取对数→DCT→（可选）倒谱提升。预加重使用一阶高通滤波器H(z)=1-0.97z⁻¹，补偿语音信号高频分量的衰减。Mel滤波器组通常由26~40个三角滤波器组成，在Mel刻度上等间距排列，每个滤波器的输出为该频带内的能量和。
取对数操作将乘法关系转化为加法关系，模拟人耳对音强的对数感知，同时压缩动态范围。DCT的作用是去相关——由于Mel滤波器组相邻频带存在重叠，各滤波器输出高度相关，DCT将能量集中到前几个系数，通常取第2~13维（跳过第0维直流分量）作为静态特征。MFCC的优点是维度低、各维独立、对噪声有一定鲁棒性，在传统GMM-HMM时代是主流。
4.2.2 Fbank（Filter Bank，滤波器组特征）
Fbank与MFCC的前半段流程完全相同，区别在于不做DCT变换，直接保留Mel滤波器组的对数能量输出。Fbank保留了频谱的完整包络信息，各维度之间存在相关性，但DNN模型可以通过隐层非线性变换自行学习特征间的组合关系，因此Fbank在深度学习时代表现优于MFCC。典型配置为80维Fbank（80个Mel滤波器），配合帧级均值方差归一化。
Fbank的另一个优势是信息无损性——DCT本质上是线性变换，理论上不丢失信息，但在截断取前13维时丢弃了高频倒谱系数，这些系数可能包含对噪声鲁棒性有用的信息。Fbank保留全部滤波器输出，让模型自行决定哪些维度重要。
4.2.3 PLP（感知线性预测）
PLP由Hermansky于1990年提出，其核心思想是更彻底地模拟听觉感知过程。PLP流程为：FFT→Bark尺度滤波器组→等响度预加重→强度-响度变换（立方根压缩）→线性预测分析→倒谱系数。与MFCC相比，PLP有三个关键差异：
- 频率尺度：PLP使用Bark尺度，更精确地模拟基底膜的位置-频率映射；
- 响度变换：PLP使用立方根压缩（强度^(1/3)），近似Stevens幂定律；
- 谱包络建模：PLP使用全极点线性预测模型拟合听觉谱，对谱包络的刻画更平滑。
PLP在噪声环境下通常比MFCC更稳健，尤其在加性噪声和信道失配场景下表现更好。但PLP计算复杂度略高，且对模型匹配要求更严格——训练和测试时使用相同的PLP参数配置至关重要。
| 对比维度 | MFCC | Fbank | PLP |
|---|---|---|---|
| 频率尺度 | Mel | Mel | Bark |
| 谱包络建模 | DCT截断 | 保留全部 | LPC全极点 |
| 典型维度 | 13维静态 | 40~80维 | 13~20维 |
| 去相关性 | 强（DCT） | 弱（保留相关） | 中（LPC残差） |
| 噪声鲁棒性 | 中 | 中 | 较强 |
| 适用模型 | GMM-HMM、小模型 | DNN/CNN/Transformer | 传统模型、鲁棒场景 |
4.3 Delta特征与特征拼接策略
静态特征只描述当前帧的频谱包络，无法反映语音的动态变化——而语音识别中辅音过渡、声调变化等关键信息恰恰体现在动态特征中。Delta特征（一阶差分）计算相邻帧特征的斜率，Delta-Delta特征（二阶差分）计算加速度。标准计算公式为：
# Delta特征计算（N=2）
delta[t] = (2·(x[t+2] - x[t-2]) + 1·(x[t+1] - x[t-1])) / 10工程实践中，通常将静态特征、Delta、Delta-Delta拼接为39维（13×3）或更高维度的特征向量。对于Fbank，常见配置为80维静态+80维Delta+80维Delta-Delta=240维。需要注意的是，Delta特征对帧移敏感——帧移越大，Delta窗口应相应增大；同时，在语音端点附近（首尾帧）Delta计算需要边界填充，常用方法为复制边界帧或使用对称填充。
经验建议：对于Transformer类模型，由于自注意力机制本身能建模长时依赖，部分研究（如Whisper）直接使用80维Fbank而不拼接Delta特征，效果依然优秀。但在传统RNN或轻量级模型中，Delta特征仍是性价比极高的信息补充。
4.4 特征归一化：消除信道与说话人差异
特征归一化是语音识别系统中最容易被忽视但影响巨大的环节。不同麦克风、不同信道、不同说话人导致的频谱偏移，如果不做归一化，会直接导致训练与测试分布不匹配。常用的归一化方法包括：
- 倒谱均值归一化（CMVN）：对每个特征维度减去全局均值，消除信道卷积效应。CMVN对加性噪声无效，但对信道失配非常有效。
- 倒谱均值方差归一化（CMVSN）：在CMVN基础上除以标准差，使每个维度具有零均值和单位方差，对特征尺度差异更稳健。
- 说话人级归一化：按说话人计算均值和方差，而非按整个数据集。适用于说话人数量较少、每说话人语音量充足的场景。
- 在线/离线归一化：离线归一化使用整段音频统计量，适合离线识别；在线归一化使用滑动窗口统计量，适合流式识别。
在深度学习时代，实例归一化（Instance Normalization）和批归一化（Batch Normalization）也被引入特征处理中。但需注意：批归一化依赖batch统计量，在batch size较小时不稳定；实例归一化对单条样本独立计算，更适合语音特征。
4.5 特征增强与数据增强
特征增强的目标是提升特征在噪声环境下的鲁棒性，分为前端信号增强和特征域增强两个层面。前端信号增强包括谱减法、维纳滤波、最小均方误差（MMSE）估计等，在特征提取前对波形或频谱进行降噪。特征域增强则直接对特征序列操作，例如：
- 特征屏蔽（SpecAugment）：在时间轴和频率轴上随机屏蔽部分区域，迫使模型学习更鲁棒的表示，是端到端识别中最常用的数据增强方法。
- 噪声叠加：在波形域叠加不同信噪比的噪声（如MUSAN噪声库），增强模型抗噪能力。
- 速度扰动：将音频速度调整为0.9×、1.0×、1.1×，增加训练数据多样性。
- 声道扰动：随机改变音频的频谱倾斜，模拟不同麦克风响应。
重要提醒：特征增强与数据增强必须遵循"训练-测试一致性"原则。如果训练时使用了SpecAugment，测试时不应使用；如果训练时叠加了特定噪声类型，测试时需评估是否匹配实际噪声场景。增强的目的是提升泛化能力，而非改变测试分布。
4.6 实战案例：噪声环境下中文语音识别特征调优
场景背景：某智能音箱产品需要在家庭环境（电视背景音、厨房噪声、多人交谈）下实现中文语音指令识别。初始系统使用13维MFCC+Delta+Delta-Delta（39维），在安静环境下识别准确率95%，但在噪声环境下（SNR≈10dB）准确率骤降至72%。
问题分析：通过对比测试发现，MFCC的DCT截断丢失了高频细节，且未做有效的归一化和增强处理。进一步分析噪声频谱发现，家庭噪声主要集中在低频段（<500Hz）和特定中频段（1-2kHz），与语音频谱重叠严重。
优化方案与实施：
- 特征切换：将MFCC替换为80维Fbank，保留完整频谱包络信息，配合DNN声学模型。
- 归一化改进：从全局CMVN改为说话人级CMVN，并加入方差归一化（CMVSN），消除不同家庭成员发声差异。
- 前端增强：在特征提取前加入维纳滤波，抑制稳态背景噪声（如空调声、风扇声）。
- 数据增强：使用MUSAN噪声库，按SNR 0~15dB随机叠加噪声，同时加入SpecAugment（时间屏蔽2帧、频率屏蔽2个频带）。
- 动态特征保留：保留Delta和Delta-Delta拼接，最终特征维度为80×3=240维。
结果对比：优化后噪声环境（SNR=10dB）准确率从72%提升至89%，安静环境准确率维持在96%以上。进一步分析发现，维纳滤波贡献了约8%的提升，CMVSN贡献约5%，Fbank+SpecAugment贡献约4%。
风险与代价：Fbank特征维度从39维增至240维，模型参数量增加约15%，训练时间增加约20%；维纳滤波引入约5ms延迟，对实时性要求极高的场景需评估。此外，SpecAugment在训练初期可能导致loss波动增大，需要适当降低学习率。
复盘经验：特征选择不是孤立的，必须与声学模型结构、训练数据规模、目标噪声场景联合考虑。对于DNN模型，Fbank通常优于MFCC；对于噪声鲁棒性要求高的场景，PLP值得尝试；归一化和增强的收益往往大于更换特征本身。
4.7 常见误区与总结
误区一：认为MFCC一定优于Fbank。实际上，在DNN/端到端模型中，Fbank因信息保留更完整而表现更好。
误区二：忽略归一化。不做CMVN直接训练，模型对信道差异极其敏感，跨设备测试时性能急剧下降。
误区三：Delta窗口设置不当。帧移10ms时N=2合适，帧移20ms时建议N=3~4，否则动态信息捕捉不充分。
误区四：训练测试增强不一致。训练时使用SpecAugment，测试时也使用，导致识别结果随机波动。
特征提取是语音识别系统的"地基"，地基不牢，上层模型再强大也难以发挥效果。在实际工程中，建议遵循以下决策路径：先确定声学模型类型（GMM/DNN/端到端）→ 再选择基础特征（MFCC/Fbank/PLP）→ 配置动态特征拼接 → 设计归一化策略 → 根据噪声场景决定增强方案。每一步都需要通过实验验证，而非凭经验直接确定。特征工程的核心原则是：在信息保留、维度控制、鲁棒性和计算开销之间找到最适合当前任务的最优平衡点。