音频基础与特征提取：从波形到模型输入的必经之路
在开始任何音频分类项目之前，我们必须先回答一个根本问题：计算机究竟如何“听懂”一段声音？原始音频文件只是一长串随时间变化的电压采样值，直接将这些数值送入神经网络往往效果不佳——不仅计算量巨大，而且难以捕捉人类听觉感知中的关键模式。本章将系统梳理音频信号的核心物理参数（采样率、位深），并深入讲解两种最常用的特征表示方法：频谱图（Spectrogram）与梅尔频率倒谱系数（MFCC）。这些概念是后续在Edge Impulse中配置预处理模块、选择DSP（数字信号处理）或深度学习模型时的理论基础。
2.1 音频信号数字化：采样率与位深的工程意义
音频信号本质上是空气压力随时间变化的连续波动。计算机无法直接存储连续信号，必须通过“采样”和“量化”将其转换为离散的数字序列。采样率（Sample Rate）指每秒采集信号的次数，单位是赫兹（Hz）；位深（Bit Depth）则决定每次采样用多少二进制位来表示振幅大小。这两个参数共同决定了数字音频的保真度和数据量。
位深的影响同样不可忽视。16bit 位深提供 96dB 的动态范围（理论信噪比），足以覆盖从安静房间到嘈杂工厂的声压变化。若位深过低（如 8bit），背景噪声会被明显放大，导致特征提取时混入大量无效信息。在 Edge Impulse 中上传数据时，平台会自动将音频统一转换为 16bit 单声道格式，但我们在录制原始数据时仍应尽量使用 16bit 或 24bit 的设备，避免前端引入量化噪声。
| 参数 | 典型值 | 对分类任务的影响 | Edge Impulse 建议 |
|---|---|---|---|
| 采样率 | 8kHz / 16kHz / 44.1kHz | 决定可分析的频率范围；过高增加计算量 | 16kHz（平衡精度与效率） |
| 位深 | 8bit / 16bit / 24bit | 影响动态范围和信噪比 | 16bit（平台默认） |
| 声道数 | 单声道 / 双声道 | 双声道数据量翻倍，但分类收益有限 | 单声道（统一转换） |
| 帧长 | 20ms–40ms | 决定时间分辨率；帧长越短，时间定位越精确 | 默认 32ms（可调） |
2.2 频谱图：将时间-振幅信号转换为时间-频率图像
频谱图（Spectrogram）是音频分类中最直观、最常用的特征表示。它通过短时傅里叶变换（STFT）将一段音频切分为多个短帧（通常 20–40ms），对每一帧执行 FFT（快速傅里叶变换），得到该时刻的频率分布。将所有帧按时间顺序排列，就形成了一张二维图像：横轴为时间，纵轴为频率，颜色深浅代表该频率分量的能量强度。
在 Edge Impulse 中，频谱图可以直接作为“图像”输入到卷积神经网络（CNN）中。这种做法的优势在于：CNN 天然擅长处理二维网格数据，能够自动学习频率模式和时间模式。例如，鸟鸣声在频谱图上表现为一系列向上扫频的条纹，而机器故障声则可能表现为固定频率的持续亮线。工程师无需手动设计特征，模型可以直接从像素级信息中提取判别模式。
2.3 MFCC：模拟人耳听觉的紧凑特征
梅尔频率倒谱系数（MFCC）是语音识别和音频分类领域最经典的特征。它的设计灵感来自人耳的非线性听觉特性：人耳对低频信号的分辨能力远高于高频。MFCC 的提取流程如下：首先对频谱图应用梅尔滤波器组（Mel Filter Bank），将线性频率映射到梅尔刻度（Mel Scale）；然后取对数；最后执行离散余弦变换（DCT），得到一组去相关的系数。通常保留前 13–40 个系数作为特征向量。
MFCC 的核心优势在于其紧凑性。一段 1 秒的音频，若使用频谱图，可能产生 128×128 的像素矩阵；而使用 MFCC，只需 13×帧数 的向量。这大大降低了模型参数量和推理延迟，非常适合资源受限的嵌入式设备。然而，MFCC 在提取过程中丢弃了相位信息，且对噪声敏感，因此在强噪声环境下，其性能可能不如直接从频谱图学习的深度模型。
2.4 案例拆解：工业设备异响分类中的特征选择
某工厂需要部署一套设备异响监测系统，目标是区分三种状态：正常运行、轴承磨损、皮带打滑。工程师使用 Edge Impulse 进行原型开发，初始阶段面临两个关键决策：采样率设为多少？特征采用频谱图还是 MFCC？
背景与约束：现场设备噪声较大（约 75dB），目标声音频率集中在 500Hz–4kHz 之间。部署硬件为 Cortex-M4 微控制器，内存仅 256KB，Flash 1MB。要求推理时间小于 100ms。
初始现象：使用 44.1kHz 采样率录制数据，发现文件体积过大，上传和训练耗时严重；且频谱图中包含大量无关的高频噪声。改用 16kHz 采样率后，数据量减少 63%，且目标频段信息完整保留。
分析判断过程：团队分别提取了频谱图（128×128 像素）和 MFCC（13 维系数 × 帧数）。频谱图方案使用 MobileNetV2 轻量网络，准确率达 97.2%，但模型大小为 1.8MB，超出 Flash 限制。MFCC 方案使用两层全连接网络（输入 13×32=416 维），模型仅 45KB，准确率 93.5%，满足部署要求。
实际操作步骤：在 Edge Impulse 中创建两个独立的预处理 Pipeline，分别配置频谱图和 MFCC 特征提取器；使用相同的训练集和验证集进行对比实验；最终选择 MFCC 方案，并进一步调整 MFCC 参数（将滤波器组数量从 40 降至 26，帧移从 16ms 增至 32ms），将模型压缩至 38KB，推理时间 45ms。
结果对比与复盘：MFCC 方案虽然准确率略低 3.7 个百分点，但模型体积仅为频谱图方案的 2.5%，且推理速度快 3 倍。更重要的是，MFCC 特征对设备运行转速变化不敏感，在测试中表现出更好的泛化能力。复盘经验：在嵌入式场景中，模型体积和推理延迟往往比 1–2% 的准确率提升更重要；特征选择应基于硬件约束和部署目标，而非单纯追求最高准确率。
2.5 常见误区与总结复盘
- 误区一：采样率越高越好。高采样率带来更大的数据量和计算开销，但分类精度不会因此提升。应根据目标声音的最高频率合理选择采样率。
- 误区二：忽略帧长和重叠率的影响。这两个参数决定了特征的时间分辨率。帧长过长会模糊瞬态事件，帧长过短则频率分辨率不足。
- 误区三：MFCC 是“万能特征”。MFCC 是为语音识别设计的，对音乐、环境音、机械声等非语音信号并非最优。务必通过实验对比不同特征。
- 误区四：在 Edge Impulse 中直接使用原始波形训练。虽然深度学习理论上可以端到端学习，但在 MCU 上处理原始波形需要极大的模型容量，且容易过拟合。特征提取是必要的预处理步骤。