📚 课程目录第2章音频流与TinyML基础

音频流与TinyML基础：音频信号表示、采样率、位深与常见音频特征

在构建TinyML滑动窗口推理系统之前，必须首先理解音频数据在数字世界中的存在形式。音频信号本质上是空气压力随时间变化的连续波动，而计算机只能处理离散的数值序列。这一从连续到离散的转换过程，涉及采样率、位深、声道数等核心参数，它们共同决定了音频数据的“分辨率”与“保真度”。更重要的是，原始波形数据并不适合直接输入神经网络——我们需要将其转换为更具判别力的特征表示，如频谱图或梅尔频率倒谱系数（MFCC）。本章将系统梳理音频信号从物理世界到数字特征的全链路基础，为后续滑动窗口推理的窗口设计、特征缓存与输出平滑奠定理论基石。

上图展示了从连续声波到数字音频，再到特征提取的完整链路。在TinyML场景中，我们通常直接获取PCM编码的数字音频流，然后通过分帧、加窗、FFT等操作提取特征。理解这一链路中的每个环节，是设计高效滑动窗口推理系统的前提。

2.1 音频信号的数字化：采样率与位深

音频数字化涉及两个关键参数：采样率（Sample Rate）和位深（Bit Depth）。采样率决定了每秒采集多少个离散样本点，位深决定了每个样本的幅度量化精度。两者共同决定了数字音频的时间分辨率和幅度分辨率。

核心原理：奈奎斯特采样定理

根据奈奎斯特采样定理，为了无失真地重建原始信号，采样率必须至少为信号最高频率的两倍。人耳可听范围约为20Hz~20kHz，因此CD音质采用44.1kHz采样率，留出约4kHz的过渡带余量。在TinyML应用中，我们通常不需要如此高的采样率——语音命令识别（如“Hey Siri”唤醒词）的有效频率范围集中在300Hz~4kHz，因此16kHz采样率已成为语音类TinyML任务的事实标准。对于工业声纹检测或环境声音分类，8kHz采样率往往也足够，因为目标事件（如电机异响、玻璃破碎）的主要能量集中在低频段。

采样率	适用场景	最高有效频率	数据量（1秒，16bit）
8 kHz	窄带语音、环境声检测	4 kHz	16 KB
16 kHz	宽带语音、关键词唤醒	8 kHz	32 KB
44.1 kHz	音乐、高保真音频	22.05 kHz	88.2 KB
48 kHz	视频音频、专业录音	24 kHz	96 KB

位深方面，16位（即2字节）是TinyML最常见的配置，提供96dB的动态范围，足以覆盖从安静环境到嘈杂工厂的声压变化。8位位深虽然节省存储，但量化噪声较大，在低信噪比场景下会显著降低识别准确率。32位浮点通常用于PC端原型验证，但在MCU上会带来额外的计算和存储开销，一般需要转换为16位整数或8位整数进行推理。

工程经验：在STM32F4系列或ESP32等主流TinyML平台上，建议使用16kHz/16bit/单声道配置。这一组合在内存占用、计算复杂度和识别性能之间取得了最佳平衡。如果使用PDM麦克风（如MP34DT05），硬件会自动完成1-bit PDM到16-bit PCM的转换，但需注意配置正确的抽取滤波器参数。

判断方法：如何选择采样率

分析目标信号的频率范围：通过FFT或频谱分析确定信号的主要能量集中频段。
应用奈奎斯特定理：采样率 ≥ 2 × 最高有效频率，并留出10%~20%的余量。
考虑MCU资源约束：采样率越高，每秒需要处理的数据量越大，DMA传输和特征提取的CPU占用率也随之上升。
验证分类性能：在目标硬件上分别用8kHz、16kHz、22.05kHz采样率训练模型，对比准确率和推理延迟。

2.2 音频分帧与加窗：滑动窗口的前置操作

音频信号是时变信号，其统计特性随时间变化。直接对整个音频序列做FFT会丢失时间信息，因此需要将长音频切分为短时帧（Frame），通常每帧长度为20~40ms。在16kHz采样率下，30ms对应480个采样点。相邻帧之间通常有50%的重叠（即帧移为10ms），以保证特征在时间轴上的连续性。

分帧后，每帧数据需要乘以窗函数（如汉明窗、汉宁窗）来减少频谱泄漏。窗函数的作用是让帧边缘的采样值平滑过渡到零，避免因截断产生的虚假高频分量。汉明窗是TinyML中最常用的选择，其表达式为：

w[n] = 0.54 - 0.46 * cos(2πn / (N-1)),  0 ≤ n ≤ N-1

其中N为帧长。加窗后的信号再进行FFT，得到该帧的频谱。这一过程在滑动窗口推理中会反复执行——每个推理周期需要处理一个或多个新帧，并与历史帧拼接形成完整的输入张量。

案例拆解：16kHz采样下的帧参数设计

假设我们设计一个关键词唤醒系统，目标识别“小爱同学”这一短语。设定帧长30ms（480点），帧移10ms（160点）。每个推理窗口包含40帧，则窗口总时长为：40 × 10ms = 400ms。这400ms的音频足以覆盖“小爱同学”的完整发音（约350ms）。在MCU上，我们维护一个环形缓冲区，每10ms从DMA读取160个新采样点，与缓冲区中已有的320个旧采样点拼接成480点的新帧，然后进行特征提取。这种增量式处理方式避免了重复计算，是滑动窗口推理的核心优化手段。

2.3 常见音频特征：频谱图与MFCC

原始波形直接输入神经网络往往效果不佳，因为波形对相位变化敏感且维度较高。我们需要提取更具判别力的特征。TinyML中最常用的两类特征是频谱图（Spectrogram）和梅尔频率倒谱系数（MFCC）。

频谱图：时间-频率-能量的三维表示

频谱图是将连续多帧的FFT结果堆叠而成的二维矩阵。横轴为时间帧索引，纵轴为频率bin（通常取256或512个），颜色深浅代表该频率分量的能量强度。在TinyML中，我们通常将频谱图缩放到固定尺寸（如64×64），然后作为单通道图像输入CNN。频谱图的优势在于计算简单——只需FFT和取模运算，适合在MCU上实时生成。其缺点是维度较高，且对噪声敏感。

MFCC：模拟人耳听觉感知

MFCC的提取流程如下：

对每帧信号做FFT得到功率谱。
将功率谱通过梅尔滤波器组（通常26~40个三角滤波器），梅尔频率与实际频率的转换关系为：mel(f) = 2595 × log10(1 + f/700)。
对每个滤波器的输出取对数。
对对数能量做离散余弦变换（DCT），取前13~40个系数作为MFCC特征。

MFCC的维度远低于频谱图（13维 vs 256维），更适合LSTM或Transformer等序列模型。但MFCC的计算量较大，在低端MCU上可能成为瓶颈。例如，在Cortex-M4内核上，提取40帧×13维MFCC大约需要15~25ms，而频谱图只需5~10ms。

对比维度	频谱图	MFCC
特征维度	高（256×64）	低（13×40）
计算复杂度	低（FFT+取模）	高（FFT+滤波器组+log+DCT）
抗噪能力	较弱	较强
适合模型	CNN	LSTM/Transformer/CNN
MCU实时性	优秀	中等
典型应用	环境声分类、异常检测	语音命令、说话人识别

常见误区：不要盲目认为MFCC一定优于频谱图。在TinyML场景中，如果MCU的算力有限（如Cortex-M0+），且目标声音是机械噪声或环境声（非语音），频谱图往往能获得更好的实时性和可接受的准确率。MFCC的梅尔滤波器组是为语音感知设计的，对非语音信号的频率分辨率并不一定最优。建议在项目初期同时实现两种特征，在真实硬件上对比准确率和延迟后再做选择。

2.4 特征归一化与数据格式

无论选择频谱图还是MFCC，输入神经网络前都需要进行归一化。常见做法是计算训练集的均值μ和标准差σ，然后对每个特征值执行(x - μ) / σ。在MCU上，为了避免浮点运算，通常使用定点数近似。例如，将归一化后的特征缩放到[-128, 127]的int8范围，这样模型推理时可以使用8位整数运算，大幅提升速度。

另一个关键问题是特征的时间对齐。在滑动窗口推理中，每个窗口的特征张量形状为（帧数，特征维度）。对于CNN模型，需要将其reshape为（高度=帧数，宽度=特征维度，通道=1）的图像格式。对于LSTM模型，则保持序列格式（时间步=帧数，特征维度）。确保输入张量的维度与模型训练时完全一致，是部署成功的前提。

  实战要点：在ESP32-S3上部署关键词唤醒模型时，我们采用16kHz/16bit采样，帧长30ms、帧移10ms，提取40帧×13维MFCC。将MFCC特征量化为int8后，模型输入张量为（40, 13, 1），占用内存仅40×13=520字节。整个特征提取过程（包括FFT、滤波器组、DCT）耗时约18ms，在240MHz双核MCU上可以做到实时处理。若改用64×64频谱图，输入张量增大到4096字节，但特征提取时间缩短至8ms。最终根据实测准确率，MFCC方案在噪声环境下高出频谱图约4.2%，因此选择了MFCC。

2.5 常见误区与设计建议

误区一：采样率越高越好。高采样率带来更大的数据量和计算负担，但未必提升识别率。如果目标信号频率上限为4kHz，16kHz采样率已经足够，盲目使用44.1kHz只会浪费MCU资源。
误区二：忽略直流偏移。许多MEMS麦克风存在直流偏置，若不进行高通滤波（截止频率约100Hz），FFT后0Hz处会出现巨大能量，掩盖有效信号。建议在分帧前先做一阶高通滤波。
误区三：特征提取与模型训练不一致。训练时使用的帧长、帧移、窗函数、滤波器组参数，部署时必须完全一致。任何微小的差异都会导致特征分布偏移，使模型准确率大幅下降。
误区四：忽视内存对齐。在MCU上，特征张量在内存中的排列方式（行优先/列优先）会影响DMA传输和加速器效率。建议将特征缓冲区按16字节对齐，并优先使用行优先存储。