4、音频信号基础：理解音频采样率、位深、声道、频谱、时域与频域表示，以及语音信号的基本特征

在TinyML智能音箱项目中，所有离线唤醒、命令识别与家居联动功能都建立在同一个前提之上：如何将物理世界中的声波，转换为微控制器（MCU）能够理解并高效处理的数字信号。音频信号基础是整个项目链条的第一块基石。如果对采样率、位深、声道、频谱等概念理解不透彻，后续的MFCC特征提取、神经网络推理、关键词唤醒（KWS）都会出现“垃圾进、垃圾出”的问题。本章将系统梳理音频数字化的核心参数、时域与频域两种观察视角，以及语音信号区别于普通噪声的独特属性，为后续模型训练与部署打下坚实的理论基础。

上图展示了从模拟声波到TinyML推理的完整链路。可以看到，采样与量化是模拟世界通往数字世界的“闸门”，而时域与频域则是我们观察音频信号的两种互补视角。在智能音箱场景中，我们既需要时域信息来判断“是否有声音”（语音活动检测），也需要频域信息来区分“这是什么声音”（命令识别）。接下来，我们将逐一拆解这些核心概念。

4.1 音频数字化的三大核心参数：采样率、位深、声道

模拟声波在时间和幅度上都是连续的。要让微控制器处理音频，必须将其离散化。这个过程由两个关键步骤组成：采样（Sampling）和量化（Quantization）。采样决定时间轴的精度，量化决定幅度轴的精度。

4.1.1 采样率：时间轴的“像素”

采样率（Sample Rate）表示每秒对模拟信号采样的次数，单位是赫兹（Hz）。根据奈奎斯特采样定理，要无失真地还原一个最高频率为 f_max 的信号，采样率必须至少为 2 × f_max。人耳听觉范围约为20Hz-20kHz，因此CD音质采用44.1kHz采样率。但在TinyML智能音箱项目中，我们主要处理的是语音信号，其有效能量集中在300Hz-3.4kHz（电话语音带宽），即使考虑谐波成分，8kHz采样率也足以覆盖语音识别的基本需求。

4.1.2 位深：幅度轴的“精度”

位深（Bit Depth）决定了每个采样点用多少比特来表示其幅度值。16位表示每个采样点有2^16=65536个可能的幅度等级，动态范围约为96dB。8位只有256个等级，动态范围48dB，会明显感受到背景噪声和量化失真。在TinyML项目中，16位是最低可接受标准。部分低功耗MCU的ADC外设可能只有12位，此时需要软件层面进行噪声整形或增益控制。

4.1.3 声道：空间维度的选择

声道数决定了音频的空间信息。单声道（Mono）只有一个数据流，双声道（Stereo）有两个。对于智能音箱的唤醒和命令识别，单声道完全足够。使用双声道不仅使数据量翻倍，还会引入相位差问题——两个麦克风采集到的信号存在时间延迟，如果直接混音会导致梳状滤波效应，反而降低识别率。除非做声源定位（DOA），否则在TinyML阶段应坚持单声道输入。

4.2 时域分析与频域分析：两种互补的视角

音频信号可以从两个维度观察：时域（Time Domain）描述信号幅度随时间的变化，频域（Frequency Domain）描述信号能量在不同频率上的分布。两者通过傅里叶变换（FFT）相互转换，是音频特征提取的两大支柱。

4.2.1 时域特征：直观但有限

时域波形是最直观的表示。在TinyML中，常用的时域特征包括：

• 短时能量（Short-time Energy）：计算一帧内所有采样点的平方和，用于区分静音与有声段。
• 过零率（Zero Crossing Rate, ZCR）：信号符号变化的次数，清音（如/s/）的ZCR明显高于浊音（如/a/）。
• 幅度包络（Amplitude Envelope）：每帧的最大幅度值，用于检测音量突变。

时域特征的优点是计算量极小，适合在MCU上做预检测——先用能量和ZCR判断“是否有人说话”，只有检测到语音才启动更复杂的频域分析，从而节省功耗。

4.2.2 频域特征：语音识别的核心

频域分析通过FFT将时域信号转换为频谱。语音信号在频域上呈现出明显的结构：基频（F0）决定音高，共振峰（Formant）决定音色。例如，元音/a/的第一共振峰（F1）约在800Hz，第二共振峰（F2）约在1200Hz；而/i/的F1约300Hz，F2约2300Hz。这些频域特征正是神经网络识别不同命令词的关键依据。

在TinyML中，我们通常不直接使用原始FFT频谱，而是进一步提取梅尔频率倒谱系数（MFCC）。梅尔刻度模拟人耳对频率的非线性感知——低频分辨率高、高频分辨率低。将频谱映射到梅尔刻度后，再取对数并进行离散余弦变换（DCT），得到的前12-13个系数即为MFCC特征。这些特征去除了冗余信息，保留了语音识别最关键的声学线索。

4.3 语音信号的基本特征与预处理流程

语音信号并非平稳信号，其统计特性随时间变化。但在10-30ms的短时尺度内，可以近似认为是平稳的，这就是短时平稳假设。基于此，语音信号具有以下区别于普通噪声的特征：

1. 周期性：浊音段具有明显的基频周期（男性约100Hz，女性约200Hz），在频谱上表现为离散的谐波线。
2. 动态范围大：语音的瞬时动态范围可达40dB，需要自动增益控制（AGC）或归一化处理。
3. 稀疏性：语音在时频域上并非均匀分布，而是集中在某些时频块上，这为压缩感知和高效编码提供了可能。
4. 上下文相关性：相邻帧之间的特征存在强相关性，因此常用循环神经网络（RNN）或带延迟的卷积神经网络（TCN）来建模时序依赖。

4.3.1 预处理标准流程

在将原始PCM数据送入神经网络之前，必须经过以下预处理步骤：

原始PCM(16kHz, 16bit, Mono)
    → 预加重(Pre-emphasis): y[n]=x[n]-0.97*x[n-1]
    → 分帧(Framing): 25ms帧长, 10ms帧移
    → 加窗(Windowing): 汉明窗 w[n]=0.54-0.46*cos(2πn/(N-1))
    → FFT: 512点
    → 梅尔滤波: 40个滤波器组
    → 取对数(log)
    → DCT: 取前13个系数
    → 特征归一化(均值/方差)
    → 输出: 13维MFCC特征向量

预加重是为了提升高频分量，因为语音的高频能量通常较弱，而清辅音（如/t/、/k/）的辨识恰恰依赖高频信息。汉明窗可以减少频谱泄漏——直接对截断信号做FFT会产生旁瓣干扰，加窗后旁瓣显著降低。

4.4 实战案例：从麦克风到MFCC特征的完整链路

假设我们使用ESP32-S3开发板，板载PDM麦克风，目标是实现“你好小智”唤醒词识别。以下是音频前端的具体实现过程：

背景与约束：ESP32-S3内置ADC为12位，但PDM麦克风输出的是过采样1-bit流，需要软件抽取滤波。系统主频240MHz，可用RAM约320KB，Flash 8MB。目标唤醒率>95%，误唤醒率<1次/24小时。

初始现象：直接使用PDM麦克风原始数据送入神经网络，唤醒率仅78%，且误唤醒频繁。分析发现，原始数据未经过抽取滤波，存在大量高频噪声；同时未做预加重，导致清音特征不明显。

关键参数与调试过程：

1. 配置PDM麦克风为64倍过采样，内部抽取至16kHz，16bit输出。实测信噪比从42dB提升至58dB。
2. 在软件中增加预加重滤波器（系数0.97），高频能量提升约12dB，清音识别率明显改善。
3. 分帧参数采用25ms/10ms，每帧400样本，FFT点数512（零填充至512）。
4. 使用40维梅尔滤波器，DCT后保留13维MFCC，并追加1维帧能量，共14维特征。
5. 特征归一化：使用滑动窗口统计均值和方差，每100帧更新一次。

结果对比：优化后唤醒率提升至96.5%，误唤醒率降至0.3次/24小时。处理每帧特征（14维）耗时约3.2ms，远低于10ms的帧移间隔，满足实时性要求。

风险与代价：预加重会放大高频噪声，在安静环境下可能引入“嘶嘶”声。解决方案是采用自适应预加重——当背景噪声较大时降低预加重系数。此外，MFCC特征对信道失真敏感，如果麦克风位置变化或外壳遮挡，需要重新校准归一化参数。

4.5 总结与复盘

音频信号基础是TinyML智能音箱项目中最容易被忽视却影响最大的环节。本章的核心要点可以归纳为：

在实际项目中，建议先使用PC端Python脚本（librosa库）验证特征提取参数的有效性，再移植到MCU上。同时，务必在目标硬件上实测FFT和MFCC的计算耗时，确保满足实时性要求。音频前端质量直接决定了模型的上限——无论神经网络多么强大，如果输入特征本身信息量不足，识别性能必然受限。