音频信号基础：采样率、位深、声道、时域与频域表示、常见音频格式与预处理需求
在进入CMSIS-DSP的MFCC与FFT实现之前，必须先建立对音频信号本身的系统性认知。音频信号是TinyML系统中最为典型的非平稳连续信号，其数字化表示方式直接决定了后续特征提取算法的输入质量与计算开销。本章将围绕采样率、位深、声道、时域/频域表示、常见封装格式以及预处理需求六个核心维度展开，帮助你在嵌入式端做出合理的音频数据通路设计决策。
2.1 采样率：时间分辨率的决定因素
采样率（Sample Rate, Fs）表示每秒对模拟音频信号进行采样的次数，单位是Hz。根据奈奎斯特采样定理，采样率必须大于信号最高频率的两倍，才能无混叠地重建原始信号。对于语音识别任务，人类语音的主要能量集中在300Hz-3.4kHz，因此8kHz采样率即可满足电话语音质量需求；而对于音乐或环境声音分类，通常需要16kHz或44.1kHz采样率以保留更丰富的高频细节。
在TinyML场景中，采样率的选择直接影响三个关键指标：数据吞吐量、内存占用和计算复杂度。以16kHz采样、16位量化为例，每秒产生的PCM数据量为16,000 × 2字节 = 32KB/s。若MCU仅有256KB RAM，则最多缓存约8秒的原始音频数据。因此，实际工程中通常采用分块采集策略，每次采集20-40ms的音频帧（对应320-640个采样点），处理完后再采集下一帧。
2.2 位深：幅度分辨率的精度控制
位深（Bit Depth）决定了每个采样点能够表示的幅度等级数量。16位量化提供65,536个离散等级，动态范围约为96dB；24位量化提供16,777,216个等级，动态范围约为144dB。对于大多数嵌入式音频应用，16位是标准选择——它既能满足信噪比需求，又与CMSIS-DSP的q15格式完美匹配，可直接使用定点运算加速。
位深的选择需要权衡动态范围与存储/计算开销。在安静环境下，16位ADC的量化噪声已经低于人耳可感知阈值；但在嘈杂工业环境中，若信号幅度波动超过60dB，16位可能不够，此时可考虑自动增益控制（AGC）或使用24位外部ADC。值得注意的是，CMSIS-DSP的MFCC函数支持q15和f32两种格式，其中q15版本计算速度更快但精度略低，适合资源受限的Cortex-M0/M3内核。
| 位深 | 动态范围 | CMSIS-DSP格式 | 适用场景 | 存储开销 (16kHz) |
|---|---|---|---|---|
| 8-bit | 48 dB | q7 | 极低功耗唤醒 | 16 KB/s |
| 16-bit | 96 dB | q15 / f32 | 语音识别、声学事件检测 | 32 KB/s |
| 24-bit | 144 dB | f32 (需转换) | 高动态范围录音 | 48 KB/s |
2.3 声道：单声道与多声道的取舍
声道数描述了音频信号的独立通道数量。单声道（Mono）使用一个麦克风采集，数据量为采样率×位深；双声道（Stereo）使用两个麦克风，数据量翻倍。在TinyML应用中，单声道是主流——大多数MCU不具备多通道同步采集能力，且多声道带来的空间信息对特征提取的增益有限，却会显著增加计算和内存负担。
然而，在某些特定场景下，双麦克风阵列具有明显优势：波束成形可以增强目标方向的声音，噪声抑制可以利用双通道相关性滤除环境噪声。例如，在智能音箱的远场唤醒场景中，4麦克风环形阵列配合自适应波束成形，可以将唤醒率从80%提升到95%以上。但这类方案通常需要专用的音频DSP或更高性能的MCU（如Cortex-M7或Cortex-A系列）。
2.4 时域与频域表示：两种视角的互补
时域表示直接展示采样点幅度随时间的变化，是最原始的音频数据形态。时域特征包括短时能量（反映音量变化）、过零率（反映频率粗糙度）和自相关函数（用于基频检测）。这些特征计算简单，适合作为粗分类的输入，但无法精细刻画声音的音色和频谱结构。
频域表示通过傅里叶变换将信号分解为不同频率分量的幅度和相位。对于非平稳的音频信号，需要采用短时傅里叶变换（STFT）：将信号分帧（通常20-40ms）、加窗（汉明窗或汉宁窗）、逐帧做FFT，得到随时间变化的频谱图。CMSIS-DSP提供arm_rfft_fast_f32和arm_cfft_f32等高效实现，在Cortex-M4上执行256点FFT仅需约50μs（以180MHz主频估算）。
时域与频域并非互斥关系，而是互补的。例如，在语音活动检测（VAD）中，通常先计算时域能量判断是否有声音，再对疑似语音段做频域分析提取MFCC特征。这种级联策略可以避免对静音段做无意义的FFT计算，节省约40%的功耗。
2.5 常见音频格式与嵌入式适配
在嵌入式系统中，音频数据的存储和传输格式直接影响解码复杂度和内存占用。以下是几种常见格式的对比：
| 格式 | 压缩方式 | 解码复杂度 | 典型码率 | 适用场景 |
|---|---|---|---|---|
| WAV/PCM | 无压缩 | 极低（直接读取） | 256 kbps (16k/16bit) | MCU本地存储、实时处理 |
| FLAC | 无损压缩 | 中等（需解码器） | ~150 kbps | 离线数据集存储 |
| MP3/AAC | 有损压缩 | 高（需专用解码器） | 32-128 kbps | 不推荐用于TinyML |
| Opus | 有损/无损 | 高 | 6-510 kbps | 网络传输场景 |
对于MCU应用，WAV/PCM是最佳选择。它无需解码，可以直接将数据送入CMSIS-DSP函数处理。若需存储较长的音频样本（如唤醒词模板），可使用16-bit PCM配合简单的差分编码（如IMA-ADPCM），将存储空间压缩至原来的1/4，解码仅需少量移位和加法运算。
2.6 预处理需求：从原始PCM到可用特征
原始PCM数据不能直接输入机器学习模型，必须经过一系列预处理步骤。典型的预处理链路包括：
- 直流偏置去除：麦克风或ADC可能引入直流偏移，导致频谱中0Hz处出现虚假能量。使用高通滤波器（截止频率50-100Hz）或简单的均值减法即可消除。
- 预加重：语音信号的高频分量通常能量较低，通过一阶高通滤波器（系数α=0.97）提升高频成分，使频谱更加平坦，有利于后续特征提取。
- 分帧与加窗：将连续音频流切分为20-40ms的帧，帧移通常为帧长的50%（如25ms帧长、10ms帧移）。每帧乘以汉明窗函数，减少频谱泄漏。
- 归一化：将16位PCM数据归一化到[-1.0, 1.0]浮点范围，或转换为q15定点格式。归一化可以消除不同设备间的音量差异。
- 噪声抑制：对于非平稳噪声，可采用谱减法或维纳滤波；对于平稳噪声，简单的能量门限即可。
2.7 常见误区与设计复盘
在音频预处理设计中，以下误区需要特别警惕：
- 误区一：采样率越高越好。高采样率意味着更多数据需要处理，但MFCC特征通常只使用4kHz以下的信息。对于语音任务，16kHz已足够；对于超声波检测等特殊场景，才需要更高的采样率。
- 误区二：忽略帧移的影响。帧移决定了特征的时间分辨率。帧移过大（如30ms）会丢失快速变化的语音特征；帧移过小（如5ms）则产生大量冗余计算。10ms帧移是经验最优值。
- 误区三：直接使用原始波形训练模型。虽然端到端学习在云端可行，但在MCU上，原始波形的维度太高（1秒音频=16000维），且对噪声和音量变化敏感。MFCC等手工特征在低资源场景下仍然是最优选择。
- 误区四：忽视定点化精度损失。CMSIS-DSP的q15格式在FFT和MFCC计算中会引入量化误差。对于16位输入，q15格式的SNR约为96dB，通常足够；但若输入信号本身动态范围很大，建议使用f32格式并配合
arm_scale_f32进行动态范围控制。
复盘一个实际项目：某可穿戴设备使用Cortex-M4（主频100MHz）进行连续语音识别。最初设计采用44.1kHz采样、24位ADC、双声道输入，导致CPU占用率超过90%，电池续航仅2小时。经过分析，将采样率降至16kHz、位深改为16位、声道改为单声道后，CPU占用率降至35%，续航延长至8小时。同时，通过优化分帧参数（帧长30ms、帧移15ms）和FFT点数（256点），MFCC提取时间从12ms降至4.5ms，完全满足实时处理需求。这个案例说明，音频参数的选择必须与硬件资源、功耗预算和应用场景协同设计，而非一味追求高规格。