2、音频基础：声音的物理特性（频率、振幅、相位）、数字音频表示（采样率、位深、声道）、常见音频格式（WAV、MP3、FLAC）及适用场景
在TinyML音频数据采集任务中，无论是唤醒词检测、噪声分类还是说话人识别，其本质都是对声音信号进行数字化处理与模式识别。理解声音的物理本质、数字化的表示方式以及不同音频格式的适用边界，是设计稳健采集方案的前提。本节将从声波的物理特性出发，逐步深入到数字音频的量化参数，最后对比主流音频格式在嵌入式场景中的取舍。
2.1 声音的物理特性：频率、振幅与相位
核心原理
声音本质上是介质（空气、水、固体）中的机械纵波，由振动源产生并以波的形式传播。在音频信号处理中，我们通常用三个物理量来描述一个纯音（正弦波）：频率（Frequency）、振幅（Amplitude）和相位（Phase）。
- 频率：单位时间内振动周期数，单位为赫兹（Hz）。人耳可听范围约为20Hz-20kHz。频率决定了声音的"音高"，低频声音（如空调嗡嗡声约50-60Hz）与高频声音（如鸟鸣约4-8kHz）在频谱上呈现明显差异。在TinyML中，频率特征常用于区分不同类型的噪声（如风扇噪声集中在低频，键盘敲击声则分布在中高频）。
- 振幅：声波偏离平衡位置的最大位移，反映声音的强度，通常以分贝（dB）表示。振幅决定了声音的"响度"。在数字音频中，振幅被映射为采样点的数值大小。需要注意的是，人耳对响度的感知是非线性的，因此常使用对数刻度（dB）来描述。
- 相位：描述波形在特定时刻的循环位置，单位为角度（°）或弧度（rad）。相位本身不直接影响人耳对单一声音的感知，但在多麦克风阵列、波束成形或回声消除中，相位差是定位声源方向和分离信号的关键依据。对于单通道唤醒词识别，相位信息通常被忽略，但在说话人定位场景中至关重要。
判断方法与操作流程
在实际音频采集项目中，我们通过以下步骤来评估声音的物理特性：
- 频谱分析：使用FFT（快速傅里叶变换）将时域信号转换为频域，观察能量在不同频率上的分布。例如，使用Python的
librosa库或嵌入式端的CMSIS-DSP库进行实时频谱计算。 - 动态范围测量：记录环境中的最大/最小振幅，计算信噪比（SNR）。若SNR低于20dB，则采集到的语音质量会显著下降。
- 相位一致性检查：在多麦克风系统中，通过计算通道间互相关函数来验证相位对齐情况。
案例拆解：噪声分类中的频率特征
假设我们需要在智能家居设备上区分"空调运行声"和"人说话声"。通过频谱分析可以发现：空调噪声能量集中在100Hz-500Hz的低频段，且频谱包络稳定；而语音信号在300Hz-3.4kHz范围内有丰富的谐波结构，且随时间快速变化。基于这一物理差异，我们可以设计一个简单的带通滤波器组，提取低频能量占比作为分类特征，而不必使用复杂的深度学习模型。
常见误区与总结
总结：频率、振幅、相位是描述声音的三个正交维度。在TinyML中，频率和振幅是特征提取的主要来源，相位则更多用于多通道信号处理。理解这些物理量有助于我们合理选择采样参数和预处理策略。
2.2 数字音频表示：采样率、位深与声道
核心原理
将连续的模拟声波转换为离散的数字信号，需要经过采样（Sampling）和量化（Quantization）两个步骤。采样率决定时间分辨率，位深决定振幅分辨率，声道数决定空间维度。
| 参数 | 定义 | 常见取值 | 对TinyML的影响 |
|---|---|---|---|
| 采样率（Sample Rate） | 每秒采集的样本点数（Hz） | 8k、16k、44.1k、48k | 决定最高可表示频率（奈奎斯特频率=采样率/2）。16kHz可覆盖语音主要频段，8kHz仅够电话语音。 |
| 位深（Bit Depth） | 每个采样点用多少比特表示振幅 | 8bit、16bit、24bit、32bit | 决定动态范围（每增加1bit，动态范围增加约6dB）。16bit提供96dB动态范围，满足大多数场景。 |
| 声道数（Channels） | 同时采集的独立音频通道数 | 1（单声道）、2（立体声）、4/8（阵列） | 单声道数据量最小，适合唤醒词；多声道用于声源定位，但数据量和计算量成倍增加。 |
判断方法与操作流程
在配置音频采集硬件（如PDM麦克风、I2S编解码器）时，需遵循以下流程：
- 确定带宽需求：根据应用场景选择采样率。语音识别最低8kHz，推荐16kHz；音乐或声学事件检测建议44.1kHz。
- 评估动态范围：测量环境噪声底噪，确保位深能覆盖从底噪到最大声压级的范围。若环境安静（如图书馆），16bit足够；若在嘈杂街道，可能需要24bit以避免削波。
- 选择声道配置：单麦克风设备使用单声道；若需波束成形或声源定位，则使用多声道同步采集。
案例拆解：唤醒词采集参数选择
某智能音箱项目需要采集"小爱同学"唤醒词数据。初始方案采用44.1kHz/24bit/双声道，结果发现：单条唤醒词语音文件约200KB，训练集10万条需要20GB存储，且模型输入特征（如MFCC）在44.1kHz下计算量过大，导致嵌入式端推理延迟超标。经过分析，将参数调整为16kHz/16bit/单声道后，单条文件降至32KB，数据量减少84%，模型推理时间缩短60%，而唤醒词识别准确率仅下降0.3%（从98.2%降至97.9%），完全在可接受范围内。
常见误区与总结
总结：采样率、位深、声道数共同决定了数字音频的数据量和保真度。TinyML场景应遵循"够用就好"原则，优先选择16kHz/16bit/单声道作为默认配置，再根据实际效果微调。
2.3 常见音频格式：WAV、MP3、FLAC及适用场景
核心原理
音频格式分为未压缩格式（如WAV）、有损压缩格式（如MP3、AAC）和无损压缩格式（如FLAC、ALAC）。格式选择直接影响存储占用、解码复杂度和数据保真度。
| 格式 | 压缩方式 | 典型码率 | 解码复杂度 | 适用场景 |
|---|---|---|---|---|
| WAV | 无压缩（PCM） | 1411kbps（44.1k/16bit/双声道） | 极低（直接读取） | 嵌入式采集原始数据、模型训练数据集、调试分析 |
| MP3 | 有损感知编码 | 128kbps-320kbps | 中等（需解码器） | 音频回放、网络传输、存储受限的长期录音 |
| FLAC | 无损压缩 | 约700-900kbps | 较高（需解码运算） | 高质量存档、需要精确波形分析的场景 |
判断方法与操作流程
在TinyML项目中，选择音频格式需考虑以下决策路径：
- 数据采集阶段：必须使用WAV格式，因为需要保留完整的原始信息，且无需解码即可直接进行特征提取。
- 模型训练阶段：若数据集存储在云端，可使用FLAC减少传输带宽，但训练前需解码为PCM数据。
- 设备端推理阶段：若设备需要播放提示音或处理预存音频，MP3可节省Flash空间，但需评估MCU的解码能力（如Cortex-M4运行MP3解码器会占用约20%的CPU资源）。
案例拆解：智能门锁的音频格式选型
一款智能门锁需要存储20条语音提示（每条约2秒），并支持本地语音唤醒。初始方案使用MP3（128kbps）存储提示音，Flash占用约640KB，但MCU（Cortex-M4 @ 100MHz）在播放MP3时CPU占用率达35%，导致唤醒词检测的实时性下降。改用WAV（16kHz/16bit/单声道）后，每条提示音64KB，20条共1.28MB，Flash容量从2MB升级至4MB（成本增加约0.3美元），但CPU占用率降至5%以下，且代码逻辑大幅简化。最终方案选择WAV，牺牲少量存储成本换取系统稳定性和实时性。
常见误区与总结
总结：WAV是TinyML音频采集的首选格式，FLAC适合需要无损存储的离线数据集，MP3仅适合播放类应用。格式选择应综合考虑存储容量、解码开销和保真度需求，而非单纯追求压缩率。
2.4 综合对比与工程决策建议
为了帮助开发者快速做出音频参数决策，下表汇总了不同应用场景的推荐配置：
| 应用场景 | 采样率 | 位深 | 声道 | 格式 | 关键理由 |
|---|---|---|---|---|---|
| 唤醒词检测 | 16kHz | 16bit | 单声道 | WAV | 覆盖语音频段，数据量适中，解码简单 |
| 环境噪声分类 | 8-16kHz | 16bit | 单声道 | WAV | 噪声频带较宽，但8kHz已够用 |
| 说话人识别 | 16kHz | 16bit | 单声道 | WAV/FLAC | 需要保留声纹细节，避免有损压缩 |
| 声源定位 | 48kHz | 24bit | 4通道以上 | WAV | 高采样率保证时间差精度，多通道同步 |
| 语音提示播放 | 22.05kHz | 16bit | 单声道 | MP3/WAV | 播放场景可接受有损，节省Flash |
在实际工程中，建议遵循以下决策顺序：先确定应用需求（识别精度、实时性、存储预算）→ 再选择采样率和位深 → 最后决定格式和声道数。切勿一开始就追求高规格参数，而应从系统整体成本出发，选择最简配置，再通过实测数据迭代优化。