音频基础：采样率、位深、帧、窗函数、频谱特征（MFCC、Mel谱）等关键概念
在TinyML唤醒词检测项目中，音频信号处理是整个pipeline的第一环，也是最容易因“想当然”而出错的一环。许多初学者将音频视为“连续的波形”，但在数字系统中，音频必须经过离散化、分帧、加窗、变换等一系列操作，才能转化为模型可学习的特征。本章将系统梳理采样率、位深、帧、窗函数、Mel谱与MFCC的核心原理，并结合唤醒词检测的实际场景，说明每个参数如何影响模型性能与部署体积。
3.1 采样率与位深：数字音频的“分辨率”
核心原理
采样率（Sample Rate）决定了时间轴上的分辨率，即每秒对模拟信号采样的次数。根据奈奎斯特采样定理，采样率必须大于信号最高频率的两倍，才能无失真地重建原始信号。语音信号的能量主要集中在300Hz-3.4kHz，因此16kHz采样率（对应8kHz带宽）是语音处理的黄金标准。位深（Bit Depth）则决定了幅度轴上的量化精度，16-bit提供65536个量化等级，动态范围约96dB，足以覆盖从耳语到喊叫的语音强度变化。
判断方法
- 采样率选择：若目标唤醒词包含高频辅音（如“s”、“f”），建议不低于16kHz；若仅检测低频元音，8kHz也可接受，但会损失部分语音清晰度。
- 位深选择：16-bit是嵌入式平台的标准配置；24-bit或32-bit浮点仅在PC端预处理时使用，部署时需转换为16-bit整数。
- 重采样检查：使用
librosa.load(path, sr=16000)时，librosa会自动重采样，但需确认原始文件采样率，避免混叠效应。
案例拆解：唤醒词“Hey Nano”的采样率选择
某项目需在Cortex-M4F（主频80MHz，RAM 256KB）上部署唤醒词模型。初始方案使用44.1kHz采样率，模型输入为1秒音频，特征提取后MFCC维度为13×49。经分析发现：
- 44.1kHz采样率下，奈奎斯特频率为22.05kHz，但语音有效带宽仅4kHz，超过90%的采样点属于冗余信息。
- 将采样率降至16kHz后，MFCC特征维度不变（因为Mel滤波器组上限仍设为8kHz），但ADC采样功耗降低约60%。
- 实际测试中，16kHz与44.1kHz的唤醒准确率差异小于0.5%，而内存占用减少约2.7倍。
最终方案采用16kHz/16-bit，特征提取时间从45ms降至18ms，满足实时性要求。
常见误区
3.2 分帧与窗函数：将连续语音切分为可处理单元
核心原理
语音信号具有短时平稳性，即在10-30ms的时间窗口内，频谱特征相对稳定。分帧（Framing）将连续音频切分为重叠的短段，帧长通常取20-30ms，帧移（Hop Length）取帧长的1/3至1/2（如10-20ms）。窗函数（Window Function）用于减少帧边缘的频谱泄漏——直接截断会产生矩形窗的旁瓣泄漏，而汉明窗（Hamming）或汉宁窗（Hann）通过平滑衰减边缘幅度，将旁瓣抑制在-40dB以下。
操作流程
# 以librosa为例，16kHz采样率，帧长30ms，帧移20ms
import librosa
y, sr = librosa.load('wake_word.wav', sr=16000)
frame_length = int(0.030 * sr) # 480样本
hop_length = int(0.020 * sr) # 320样本
frames = librosa.util.frame(y, frame_length=frame_length, hop_length=hop_length)
# 对每帧应用汉明窗
window = scipy.signal.windows.hamming(frame_length)
windowed_frames = frames * window[:, np.newaxis]参数选择对比表
| 参数 | 典型值 | 影响 | 唤醒词场景建议 |
|---|---|---|---|
| 帧长 | 20-30ms | 频率分辨率 = 1/帧长；帧长越长，频率分辨率越高，但时间分辨率降低 | 30ms（频率分辨率33Hz，足够区分元音共振峰） |
| 帧移 | 10-20ms | 帧移越小，帧间重叠越多，特征序列越长，计算量增大 | 20ms（重叠33%，平衡时间分辨率与计算量） |
| 窗函数 | 汉明窗/汉宁窗 | 旁瓣衰减：矩形窗-13dB，汉宁窗-31dB，汉明窗-43dB | 汉明窗（旁瓣抑制好，主瓣宽度适中） |
常见误区
3.3 Mel谱与MFCC：从线性频率到感知频率
核心原理
人耳对频率的感知是非线性的：在低频区域（<1kHz）分辨率高，在高频区域分辨率低。Mel刻度模拟了这一特性，其转换公式为：mel = 2595 * log10(1 + f/700)。Mel谱（Mel Spectrogram）将FFT得到的线性频谱通过Mel滤波器组（通常40-80个三角滤波器）加权，得到符合人耳感知的频谱表示。MFCC（Mel频率倒谱系数）则进一步对Mel谱取对数后做DCT（离散余弦变换），得到去相关的倒谱系数，通常取前13维。
判断方法
- Mel谱 vs MFCC：Mel谱保留更多原始信息（如能量分布），适合CNN模型；MFCC去相关性强，适合GMM或DNN模型，且维度更低。
- 滤波器组数量：40个滤波器是常用起点；若唤醒词包含高频辅音，可增加至80个，但特征维度翻倍。
- DCT保留维度：13维MFCC保留约90%的语音辨识信息；若需进一步压缩，可降至10维，但需验证准确率。
案例拆解：MFCC维度对模型大小的影响
某唤醒词模型使用1秒音频，帧移20ms，共49帧。若使用13维MFCC，输入张量为13×49=637个浮点数；若使用40维Mel谱，则输入为40×49=1960个浮点数。在Cortex-M4F上，浮点运算速度约10MFLOPs/s，模型第一层卷积的计算量随输入维度线性增长。实测表明：
- 13维MFCC + DNN（2层64单元）模型大小为18KB，准确率96.2%。
- 40维Mel谱 + CNN（2层8通道）模型大小为32KB，准确率97.1%。
- 将MFCC维度降至10维后，模型大小降至14KB，但准确率下降至94.8%。
最终选择13维MFCC方案，在准确率与资源占用间取得平衡。