2、基础知识：掌握音频信号基础、采样率、位深、声道、频谱图等核心概念，理解关键词识别（KWS）任务定义

在开始采集TinyML关键词数据集之前，我们必须先建立一套共同的“语言体系”。音频信号的处理与图像处理截然不同——图像是二维空间数据，而音频是一维时间序列数据，但其频域特征又天然适合用二维方式呈现。本章将系统梳理采样率、位深、声道、频谱图等核心概念，并明确关键词识别（KWS）的任务边界。只有深刻理解这些基础，你才能在设计数据集时做出正确决策：用多少采样率采集？是否需要双声道？噪声如何叠加？标签如何定义？这些问题的答案都源于本章的知识框架。

2.1 音频信号数字化：采样率、位深与声道

核心原理：声音本质是空气压力的振动，在物理世界中表现为连续变化的模拟信号。计算机无法直接处理连续信号，必须通过“采样”和“量化”将其转换为离散的数字序列。采样率（Sample Rate）决定了每秒钟从连续信号中抽取多少个离散点，单位是Hz（赫兹）。根据奈奎斯特采样定理，要无失真地还原一个最高频率为f的信号，采样率必须至少为2f。人耳听觉范围约为20Hz-20kHz，因此CD音质采用44.1kHz采样率；而语音识别任务中，人类语音的主要能量集中在300Hz-3.4kHz，所以16kHz采样率已成为KWS领域的默认标准——它既能完整保留语音特征，又能将数据量控制在合理范围。

位深（Bit Depth）决定了每个采样点的幅度精度。16bit位深提供65536个量化等级，信噪比理论值约为96dB，足以覆盖从耳语到喊叫的动态范围。24bit和32bit浮点格式多用于专业录音和后期处理，但在TinyML场景中，16bit PCM是最常见的选择——它兼顾了动态范围和存储效率。位深过低（如8bit）会导致量化噪声明显，表现为背景“嘶嘶”声；位深过高则浪费存储和计算资源。

声道（Channel）描述了音频的维度。单声道（Mono）只有一个音频流，适合语音类任务；双声道（Stereo）包含左右两个独立音频流，可用于声源定位或降噪；多声道阵列（如4麦、6麦）则用于远场语音交互。对于TinyML关键词识别，绝大多数场景使用单声道即可——因为KWS关注的是“说了什么词”而非“声音从哪里来”。使用双声道采集时，如果两个声道内容不一致，反而会增加数据处理的复杂度。

参数	典型值	适用场景	数据量估算（1秒音频）
采样率	8kHz	电话语音、窄带通信	8,000样本
采样率	16kHz	KWS、语音识别（推荐）	16,000样本
采样率	44.1kHz	音乐、高保真录音	44,100样本
位深	16bit	TinyML标准配置	2字节/样本
位深	32bit float	音频处理中间格式	4字节/样本
声道	单声道	KWS默认	1个数据流

2.2 频谱图：从时域到频域的透视

核心原理：原始波形（时域信号）虽然完整保留了所有信息，但人类和机器都很难直接从波形中判断“说的是哪个词”。频谱图（Spectrogram）通过短时傅里叶变换（STFT）将音频信号转换为“时间-频率-幅度”的三维表示：横轴是时间，纵轴是频率，颜色深浅代表该时刻该频率成分的能量强度。对于KWS任务，频谱图相当于语音的“视觉指纹”——不同的词在频谱图上呈现出不同的能量分布模式，这正是深度学习模型（如CNN）可以直接处理的“图像”。

关键参数：生成频谱图需要设置三个核心参数：窗口长度（Window Size）、帧移（Hop Length）和梅尔滤波器数量（Mel Bins）。窗口长度决定了频率分辨率，窗口越长频率分辨率越高但时间分辨率越低；帧移决定了相邻帧的重叠程度，影响时间方向的平滑度；梅尔滤波器组模拟人耳对频率的非线性感知，将线性频率映射到梅尔刻度。典型的KWS配置为：窗口25ms、帧移10ms、梅尔滤波器40个，最终生成40×N的特征图（N为帧数）。

操作流程：在Python中使用librosa库生成频谱图的典型代码如下：

import librosa
import numpy as np

# 加载音频，强制重采样到16kHz
y, sr = librosa.load('wake_word.wav', sr=16000)

# 提取梅尔频谱特征
mel_spec = librosa.feature.melspectrogram(
    y=y, sr=sr,
    n_fft=400,      # 25ms窗口 (400/16000=0.025s)
    hop_length=160, # 10ms帧移 (160/16000=0.01s)
    n_mels=40       # 梅尔滤波器数量
)

# 转换为对数刻度（dB）
log_mel_spec = librosa.power_to_db(mel_spec, ref=np.max)
print(f"特征图尺寸: {log_mel_spec.shape}")  # 输出 (40, 帧数)

2.3 关键词识别（KWS）任务定义与数据集角色

任务定义：关键词识别（Keyword Spotting, KWS）是语音识别的一个轻量级子任务，目标是从连续的音频流中检测出预设的特定词汇（如“Hey Siri”、“OK Google”、“小爱同学”）。与大规模语音识别（ASR）不同，KWS不需要识别所有词汇，只需判断“是否出现了目标词”或“当前说的是哪个命令词”。KWS系统通常运行在资源受限的嵌入式设备上，要求低延迟（<100ms）、低功耗（<10mW）、小内存（<100KB）。

任务分类：KWS任务可以细分为三类：唤醒词检测（Wake Word Detection）——持续监听，检测到特定词后激活设备；命令词分类（Command Classification）——在唤醒后识别有限的命令集（如“播放”、“暂停”、“下一首”）；自定义关键词识别——用户自定义的特定词汇。这三类任务对数据集的要求不同：唤醒词检测需要大量负样本（非唤醒词语音、噪声、静音）来降低误唤醒率；命令词分类需要均衡的正样本分布；自定义关键词则需要灵活的采集和标注流程。

任务类型	输入	输出	数据集重点
唤醒词检测	连续音频流	唤醒/未唤醒（二分类）	负样本多样性、噪声鲁棒性
命令词分类	1秒音频片段	命令类别（多分类）	类别均衡、说话人多样性
自定义关键词	短音频片段	自定义词/其他	采集一致性、标注准确性

数据集在KWS中的角色：数据集是KWS系统的“燃料”。一个完整的KWS数据集应包含三类样本：正样本（目标关键词的清晰发音）、负样本（非关键词的语音、常见环境噪声、静音片段）、边缘样本（部分遮挡、远场、混响、低信噪比等困难情况）。正样本教会模型“目标词长什么样”，负样本教会模型“什么不是目标词”，边缘样本则提升模型的泛化能力和鲁棒性。在后续章节中，我们将详细讨论如何采集和标注这三类样本。

2.4 案例拆解：16kHz/16bit/单声道的选择逻辑

场景描述：某智能音箱团队需要制作“小度小度”唤醒词数据集。硬件方案采用单麦克风，音频编解码器支持8kHz-48kHz采样率，ADC位深为16bit。团队需要在采集前确定音频格式参数。

分析过程：首先，语音能量集中频段为300Hz-3.4kHz，16kHz采样率可覆盖至8kHz频率范围，留出充足余量。其次，16bit位深提供96dB动态范围，而麦克风本身的信噪比约为60-70dB，位深不会成为瓶颈。再次，单麦克风硬件决定了单声道是唯一选择。最后，考虑到TinyML模型输入特征通常为40维梅尔频谱，16kHz采样率下1秒音频产生约96帧，特征图尺寸适中。

决策结果：最终确定参数为：采样率16kHz、位深16bit、单声道、WAV格式（PCM编码）。该配置下，1秒音频的数据量为16,000×2字节=32KB，存储1000条1秒音频约需32MB空间，在嵌入式设备上完全可接受。

复盘要点：参数选择不是孤立的，需要从硬件能力、模型输入、存储限制、计算开销四个维度综合权衡。如果未来要支持远场唤醒（3-5米），可能需要考虑多麦克风阵列和更高的采样率；如果模型输入改为原始波形（1D CNN），则采样率的选择直接影响模型第一层的卷积核设计。

2.5 总结与自检清单

本章建立了音频信号处理和KWS任务的基础框架。核心要点归纳如下：

• 采样率决定频率覆盖范围，KWS默认16kHz，不要随意降低到8kHz以下。
• 位深决定动态范围，16bit是TinyML的黄金标准，低于12bit会引入明显量化噪声。
• 声道影响数据维度和处理复杂度，单声道满足绝大多数KWS需求。
• 频谱图是KWS模型的主要输入形式，窗口25ms、帧移10ms、40个梅尔滤波器是经验默认值。
• KWS任务分为唤醒词检测、命令词分类和自定义关键词三类，数据集设计需针对任务特点。
• 正样本、负样本、边缘样本三者缺一不可，负样本的多样性直接决定模型的误唤醒率。