4、音频信号基础：采样率、位深、声道、音频帧、频谱特征（MFCC、Mel谱）等基本概念
在TinyML低功耗语音唤醒系统的设计中，音频信号从物理声波到模型可处理的张量，中间经历了一条完整且环环相扣的信号链。无论是选择麦克风、设计前端算法，还是确定模型输入维度，都取决于对音频信号基本概念的准确理解。本章将系统梳理采样率、位深、声道、音频帧以及频谱特征（MFCC、Mel谱）等核心概念，并重点说明这些参数在Always-On（常开）场景下对功耗、内存和识别性能的具体影响。理解这些基础，是后续设计低功耗音频链路、选择DSP处理器和部署神经网络模型的先决条件。
4.1 采样率与位深：数字音频的“分辨率”
采样率（Sample Rate）和位深（Bit Depth）是模拟信号数字化的两个最基本参数，它们共同决定了数字音频对原始声波的还原精度。采样率定义了每秒对模拟信号采样的次数，单位是Hz（赫兹）。根据奈奎斯特采样定理，要无失真地还原一个最高频率为f_max的模拟信号，采样率必须至少为2×f_max。对于语音唤醒应用，人声的主要能量集中在300Hz～3.4kHz，因此16kHz采样率成为行业事实标准——它既能完整覆盖语音频带，又比CD音质的44.1kHz减少约2/3的数据量，直接降低了后续DSP和神经网络的计算负载与内存带宽。
位深则决定了每个采样点的幅度量化精度。16bit位深提供65536个量化等级，对应约96dB的理论动态范围，足以覆盖从低声细语到近距离大声说话的语音场景。若位深降至8bit，动态范围缩水至48dB，背景噪声和微弱语音的细节会被量化噪声淹没，导致唤醒率显著下降。在TinyML硬件选型时，应优先选择支持16bit ADC的音频编解码器（如ES8311、WM8960）或带16bit输出的PDM数字麦克风（如ICS-43434）。
4.2 声道与音频帧：数据组织与时间粒度
声道（Channel）描述了音频数据的空间维度。单声道（Mono）仅包含一路音频信号，双声道（Stereo）包含左右两路独立信号。在语音唤醒场景中，单声道是主流——人声是点声源，单麦克风即可捕获足够信息；多麦克风阵列（如双麦波束成形）虽能提升远场唤醒率，但会成倍增加数据量和计算量，与低功耗目标相悖。因此，TinyML语音唤醒系统几乎无一例外地采用单声道输入。
音频帧（Audio Frame）是DSP处理的“时间切片”。由于语音信号是非平稳的，但在10～30ms的短时范围内可视为平稳，因此需要将连续音频流切分为固定长度的帧。典型的帧长为20～30ms（在16kHz采样率下对应320～480个采样点），相邻帧之间通常有50%的重叠（即帧移10ms），以避免帧边界处的信息丢失。每一帧经过加窗（如汉明窗）后，再进行FFT变换，得到该帧的频谱。
| 参数 | 典型值 | 对系统的影响 | TinyML设计建议 |
|---|---|---|---|
| 采样率 | 16kHz | 决定频率上限（8kHz）与数据率 | 固定16kHz，避免运行时切换 |
| 位深 | 16bit | 决定动态范围与SNR | 使用16bit，不压缩为8bit |
| 声道数 | 1（单声道） | 数据量×声道数 | 仅用单声道，禁用立体声 |
| 帧长 | 30ms（480样本） | 频率分辨率=1/帧长≈33Hz | 30ms为常用折中，可调 |
| 帧移 | 10ms（160样本） | 帧率=100fps，决定计算负载 | 10ms标准，勿随意增大 |
| 特征维度 | 40维Mel / 13维MFCC | 模型输入大小与计算量 | 根据MCU算力选择 |
4.3 频谱特征：从时域到频域的“压缩感知”
原始音频波形（时域信号）直接输入神经网络往往效果不佳——维度高、冗余大、对噪声敏感。因此需要提取频谱特征，将一维时域信号转换为二维时频表示。最常用的三种特征为：Mel谱（Mel-Spectrogram）、MFCC（Mel频率倒谱系数）和滤波器组能量（Filter Bank Energies）。
Mel谱的计算流程为：对每一帧加窗后做FFT得到功率谱，再通过一组Mel刻度三角滤波器（通常40～80个）进行加权求和，最后取对数。Mel刻度模拟人耳对频率的非线性感知——低频分辨率高、高频分辨率低。Mel谱保留了完整的时频信息，适合作为深度神经网络（DNN/CNN）的输入，因为模型可以自行学习滤波器间的相关性。
MFCC是在Mel谱基础上，再进行离散余弦变换（DCT）并保留前13～20个系数。DCT的作用是去相关，将Mel谱的能量压缩到少数系数中。MFCC是传统GMM-HMM语音识别系统的标准特征，但在TinyML深度学习中，其优势并不明显——DCT是线性变换，神经网络可以自行学习等效映射，而MFCC反而丢失了部分高频细节。因此，现代TinyML语音唤醒模型（如DNN、CRNN）更倾向于直接使用Mel谱或滤波器组能量作为输入。
4.4 案例拆解：16kHz/16bit/单声道音频链路在Cortex-M4上的实现
以某智能家居语音唤醒方案为例，硬件平台采用STM32L4系列（Cortex-M4F，80MHz），音频前端为ICS-43434 PDM数字麦克风，通过软件PDM解调得到16kHz/16bit的PCM数据。系统目标是在Always-On待机模式下，实现“小智管家”唤醒词的实时检测，整机平均功耗低于1mW。
初始现象与目标：初期原型使用44.1kHz采样率、双声道、20ms帧长，模型输入为40维Mel谱。实测发现，MCU的FFT计算和特征提取占用CPU时间达35%，导致DSP功耗超标，且双声道数据使DMA带宽紧张。
分析与调整过程：首先，将采样率从44.1kHz降至16kHz，FFT点数从2048降至512，计算量降低约4倍。其次，禁用第二个PDM麦克风通道，仅保留单声道数据，DMA中断频率减半。再次，将帧长从20ms调整为30ms，帧移保持10ms，频率分辨率从50Hz提升至33Hz，更利于区分“小”和“智”的元音共振峰。最后，将特征从40维Mel谱降为20维滤波器组能量（跳过DCT），模型输入从40×32（40帧×32维）变为20×32，模型参数量减少约30%。
结果对比：调整后，CPU占用率从35%降至12%，DSP功耗下降约60%，整机待机功耗降至0.8mW。唤醒率在安静环境下从96.2%微降至95.1%（因特征维度降低），但在60dB噪声环境下，由于帧长增加带来的频率分辨率提升，唤醒率反而从88.5%提升至90.3%。
风险与代价：降低采样率至16kHz后，系统无法处理超过8kHz的高频噪声，但语音唤醒场景中此类噪声影响有限。特征维度降低后，模型对说话人变异的鲁棒性略有下降，需通过增加训练数据中的说话人多样性来补偿。
4.5 总结与设计要点
音频信号基础参数的选择不是孤立的，它们共同决定了整个Always-On音频链路的功耗、延迟和识别性能。核心设计原则可归纳为：以唤醒词特性定采样率，以MCU算力定特征维度，以功耗预算定帧率。在具体实现中，建议遵循以下流程：
- 确定语音带宽需求：分析唤醒词的频谱特性，若含高频辅音则保持16kHz采样率，若仅为低频元音组合可考虑12kHz。
- 选择ADC/麦克风：优先选16bit输出、低功耗的PDM数字麦克风，避免外置独立ADC增加BOM成本。
- 设计帧参数：帧长20～30ms，帧移10ms，加汉明窗。若MCU支持硬件FFT加速（如STM32的CORDIC），可适当缩短帧长至20ms。
- 特征提取优化：在Cortex-M4F上使用CMSIS-DSP库的arm_rfft_fast_f32函数，Mel滤波器组系数预计算并存储为const数组，log运算用查表法。
- 模型输入对齐：确保模型输入的时间帧数（如32帧）对应320ms的音频窗口，与唤醒词时长匹配。
最后需要强调的是，音频前端参数的调整必须与模型训练协同进行——训练时使用的特征参数必须与推理时完全一致，包括采样率、帧长、帧移、Mel滤波器个数、是否做均值归一化等。任何不一致都会导致严重的性能下降，这是TinyML工程中常见的“隐藏陷阱”。