2、音频基础与预处理：音频信号的基本属性、时频表示与格式转换

在进入 Edge Impulse 关键词识别（KWS）项目之前，必须先建立对音频信号本身的扎实理解。关键词识别本质上是一个对音频信号进行分类与匹配的过程，而音频信号的采集质量、表示方式与预处理流程，直接决定了模型训练的上限。如果采样率设置不当、位深不足或格式转换引入失真，后续无论模型结构多先进，都难以获得理想的识别准确率。本章将系统讲解音频信号的基本属性（采样率、位深、声道）、时域与频域两种核心表示方法、常见音频格式（WAV 与 MP3）的差异及转换方法，并结合 Edge Impulse 平台的实际操作，说明这些概念如何落地到关键词识别项目中。

2.1 音频信号的基本属性：采样率、位深与声道

2.1.1 核心原理：数字音频的三要素

声音本质上是空气压力的振动，在时间轴上表现为连续的模拟信号。计算机无法直接处理模拟信号，必须通过模数转换器（ADC）将其离散化。这个离散化过程涉及三个关键参数：采样率（Sample Rate）、位深（Bit Depth）和声道数（Channels）。

• 采样率：每秒对模拟信号采样的次数，单位为 Hz。根据奈奎斯特采样定理，采样率必须至少为信号最高频率的两倍，才能无失真地重建原始信号。人耳听觉范围约为 20Hz-20kHz，因此 CD 音质采用 44.1kHz 采样率。对于语音/关键词识别，语音能量主要集中在 300Hz-3.4kHz 频段，Edge Impulse 官方推荐使用 16kHz 采样率，这既能覆盖语音主要频段，又能减少数据量和计算量。若采样率过低（如 8kHz），会导致高频辅音（如 /s/、/f/）信息丢失，影响识别精度。
• 位深：表示每个采样点用多少比特来量化幅度，决定了动态范围和信噪比。16-bit 提供 96dB 的理论动态范围，是音频行业的标准；32-bit 浮点常用于专业处理，但文件体积翻倍。在嵌入式关键词识别场景中，16-bit 是性价比最高的选择。位深不足会导致量化噪声，在静音段尤为明显，可能被模型误判为背景噪声。
• 声道数：单声道（Mono）只记录一路信号，双声道（Stereo）记录左右两路。对于关键词识别，单声道足够，因为语音识别不需要空间定位信息。使用双声道会带来两倍的数据量，且需要额外的下混（Downmix）处理，增加预处理复杂度。

2.1.2 判断方法与操作流程：在 Edge Impulse 中配置音频参数

在 Edge Impulse 项目中，采集音频数据前需要明确设置采样率和位深。平台默认支持 16kHz/16-bit/单声道的 WAV 格式，这也是大多数微控制器（如 Arduino Nano 33 BLE Sense、ESP32）板载麦克风的标准输出。操作流程如下：

1. 进入 Edge Impulse 项目的 Data acquisition 页面，选择目标设备（如手机或开发板）。
2. 在设备设置中确认采样率（Sample rate）为 16000 Hz，位深为 16-bit，声道为 Mono。
3. 若使用手机采集，Edge Impulse 会自动将麦克风输入转换为符合要求的格式；若使用开发板，需在固件中配置 I2S 接口的采样参数。
4. 录制样本时，保持麦克风距离 10-20cm，环境噪声低于 40dB，避免削波（Clipping）。

2.1.3 案例拆解：采样率设置不当导致的识别失败

某团队开发“小爱同学”唤醒词识别，使用手机采集了 500 条样本，采样率设置为 48kHz。在 Edge Impulse 中训练时，模型准确率达到 95%，但在部署到 ESP32 后，唤醒率骤降至 60%。排查发现：ESP32 的 I2S 麦克风实际输出为 16kHz，而训练数据是 48kHz。Edge Impulse 虽然自动重采样，但重采样算法（线性插值）丢失了部分高频细节，导致训练与推理时的特征分布不一致。解决方案：重新以 16kHz 采集数据，并确保开发板固件配置正确。重新训练后，唤醒率恢复到 92%。复盘结论：训练数据与部署硬件的采样率必须严格一致，这是 KWS 项目的第一条铁律。

2.2 时域与频域表示：从波形到频谱

2.2.1 核心原理：两种视角看音频

音频信号有两种最基本的表示方式：时域（Time Domain）和频域（Frequency Domain）。时域表示以时间为横轴、振幅为纵轴，直接展示声波随时间的起伏。频域表示则通过傅里叶变换（FFT）将信号分解为不同频率分量的组合，以频率为横轴、能量/幅度为纵轴。

对于关键词识别，时域波形虽然直观，但难以直接用于分类——因为同一词语在不同人、不同语速下，波形差异巨大。频域表示（尤其是 Mel 频谱图）则能更好地捕捉语音的声学特征。人耳对频率的感知是非线性的，对低频更敏感，对高频较迟钝。因此，语音识别系统通常将线性频率映射到 Mel 刻度（一种模拟人耳听觉特性的非线性频率刻度），再提取 MFCC（Mel 频率倒谱系数）作为特征。

2.2.2 操作流程：Edge Impulse 中的频谱图生成

在 Edge Impulse 的 Features 页面，平台会自动对每个音频样本执行以下预处理：

1. 预加重：通过高通滤波器提升高频分量，补偿语音信号高频能量衰减。
2. 分帧：将音频切分为 20-40ms 的短帧，帧移通常为 10ms，保证帧间平滑过渡。
3. 加窗：对每帧应用汉明窗（Hamming Window），减少频谱泄漏。
4. FFT：计算每帧的快速傅里叶变换，得到功率谱。
5. Mel 滤波：将功率谱通过一组三角滤波器，映射到 Mel 刻度。
6. 对数与 DCT：取对数后应用离散余弦变换，得到 MFCC 特征。

Edge Impulse 默认使用 MFCC 块作为特征提取器，输出 13 维系数（可配置）。这些特征将作为神经网络的输入。

2.2.3 常见误区：混淆时域与频域特征

初学者常误以为直接输入原始波形（时域）给神经网络即可。实际上，原始波形维度极高（1 秒音频在 16kHz 下为 16000 个点），且包含大量冗余信息。频域特征（MFCC）将每帧压缩为 13 个系数，1 秒音频（100 帧）仅 1300 维，大幅降低计算量，同时保留语音辨识的关键信息。此外，时域波形对噪声和幅度变化敏感，而 MFCC 通过取对数和倒谱分析，对噪声和信道失真具有更强的鲁棒性。

2.3 常见音频格式：WAV 与 MP3 及转换方法

2.3.1 核心原理：无损与有损的取舍

WAV（Waveform Audio File Format）是微软和 IBM 开发的音频文件格式，通常采用 PCM（脉冲编码调制）编码，属于无损格式。它直接存储采样数据，文件体积大（16kHz/16bit/单声道 1 分钟约 1.9MB），但保真度最高，且无需解码即可直接读取采样值，非常适合作为机器学习训练数据。

MP3（MPEG-1 Audio Layer 3）是有损压缩格式，通过心理声学模型去除人耳不敏感的频率成分，压缩比可达 10:1 以上。MP3 文件体积小，适合存储和传输，但解码后会产生失真，且压缩过程会引入伪影（Artifacts），可能影响模型训练精度。

2.3.2 转换方法：使用 FFmpeg 批量处理

在准备训练数据时，如果已有 MP3 格式的音频，必须转换为 WAV。推荐使用 FFmpeg 工具，它支持几乎所有音频格式的转换。以下命令将 MP3 转换为 16kHz、16-bit、单声道的 WAV：

ffmpeg -i input.mp3 -ar 16000 -ac 1 -sample_fmt s16 output.wav

参数说明：-ar 设置采样率，-ac 设置声道数，-sample_fmt 设置位深格式（s16 表示有符号 16-bit）。批量转换可使用循环脚本：

for f in *.mp3; do
  ffmpeg -i "$f" -ar 16000 -ac 1 -sample_fmt s16 "${f%.mp3}.wav"
done

2.3.3 案例拆解：MP3 压缩对唤醒词识别的影响

某项目从公开数据集下载了 1000 条“Hey Siri”唤醒词语音，原始格式为 MP3（128kbps）。直接上传至 Edge Impulse 训练后，模型在测试集上准确率为 88%，但在实际环境中误触发率较高。分析发现：MP3 压缩在静音段引入了“预回声”（Pre-echo）伪影，导致模型将微弱的噪声误判为语音起始。解决方案：使用 FFmpeg 将所有 MP3 转换为 WAV，并添加 50ms 的静音裁剪（去除首尾的压缩伪影）。重新训练后，准确率提升至 94%，误触发率降低 60%。复盘经验：训练数据必须使用无损格式，且转换后应检查波形，确保没有明显的压缩痕迹。

2.4 本章总结与实操要点

音频预处理是关键词识别项目的基石。本章的核心要点可归纳为：

• 采样率 16kHz、位深 16-bit、单声道是 Edge Impulse KWS 项目的标准配置，务必在采集端就设置正确。
• 时域波形适合观察信号整体形态和进行端点检测，频域特征（MFCC）才是模型输入的主流选择。
• WAV 是训练数据的唯一推荐格式，MP3 等有损格式必须转换后再使用，且转换后需检查质量。
• 在 Edge Impulse 中，上传音频后应查看 Features 页面的频谱图，确认特征分布合理（无全零帧、无削波）。

掌握这些基础后，下一步将进入实际的数据采集环节——如何录制高质量的训练样本，以及如何设计关键词与背景噪声的混合策略，以提升模型在真实环境中的鲁棒性。