2、音频基础：采样率、位深、声道、音频帧、频谱图等基本概念，以及TinyML中音频数据的表示与处理流程

在进入TinyML音频增强的具体算法之前，必须先建立对音频数据本身的精确理解。与文本或图像数据不同，音频信号是随时间连续变化的机械波，计算机无法直接存储连续量，必须通过采样与量化将其转换为离散的数字序列。本章将系统梳理采样率、位深、声道、音频帧与频谱图等核心概念，并重点剖析TinyML场景下音频数据的张量表示、分帧逻辑与预处理流水线。这些基础直接决定了后续噪声混合、时间偏移与增益扰动等增强策略的有效性。

2.1 采样率与位深：数字音频的时空分辨率

核心原理：采样率（Sample Rate）决定了时间轴的精度，即每秒对模拟信号采集的样本点数，单位是Hz。根据奈奎斯特采样定理，要无失真地重建信号，采样率必须大于信号最高频率的两倍。对于语音信号，其能量主要集中在300Hz-3.4kHz，因此电话系统采用8kHz采样率；而TinyML语音识别任务通常使用16kHz采样率，以覆盖更宽的语音频带并保留部分高频辅音信息。位深（Bit Depth）则决定了幅度轴的精度，即每个采样点用多少比特来量化其振幅。16bit位深提供65536个量化等级，动态范围约为96dB，足以覆盖从耳语到喊叫的语音强度变化。

判断方法与选择策略：在TinyML项目中，采样率与位深的选择并非越高越好，而需在信息保留与计算开销之间取得平衡。下表给出了不同场景下的推荐配置：

在MCU上运行时，每增加1kHz采样率，每秒新增的数据量为位深/8 × 1000字节。例如16kHz/16bit单声道音频，每秒产生32KB数据，若MCU仅有256KB RAM，则最多缓存8秒音频。因此，实际部署时往往需要降低采样率或采用流式处理。

2.2 声道与音频帧：从连续波形到离散块

核心原理：声道（Channel）指音频信号的独立采集通路。单声道（Mono）只有一个信号流，立体声（Stereo）包含左右两个声道。在TinyML中，绝大多数场景使用单声道，因为多声道会成倍增加计算量，且麦克风阵列的波束成形通常由专用DSP完成，而非在MCU上实现。音频帧（Frame）是数字音频处理的基本单元，它是一段固定长度的采样点集合。例如在16kHz采样率下，30ms的帧包含480个采样点。帧与帧之间通常有重叠（Overlap），以避免在分帧边界处丢失信息，常见的重叠率为50%-75%。

操作流程：从连续音频流到模型输入的完整分帧流程如下：

1. 采样缓冲：从ADC（模数转换器）读取连续采样点，存入环形缓冲区。
2. 帧切割：按设定的帧长（如480点/30ms）从缓冲区取出一个帧。
3. 加窗处理：将帧与窗函数（如汉明窗、汉宁窗）逐点相乘，以抑制频谱泄漏。
4. 帧移推进：按帧移（如160点/10ms）滑动窗口，准备下一帧。
5. 特征计算：对加窗后的帧进行FFT变换，得到该帧的频谱。

帧长与帧移的选择直接影响时间分辨率和频率分辨率。帧长越长，频率分辨率越高（FFT bin间隔越小），但时间分辨率越低；帧移越小，特征序列的时间密度越高，但计算量增大。对于TinyML，推荐帧长25-30ms、帧移10ms，这是语音识别领域经过验证的黄金参数。

2.3 频谱图：从时域到频域的视觉化映射

核心原理：频谱图（Spectrogram）是音频信号经过短时傅里叶变换（STFT）后得到的二维表示，横轴为时间帧索引，纵轴为频率bin，颜色深浅代表该时频点的能量幅度。对于TinyML模型，频谱图是比原始波形更有效的输入特征，因为它直接揭示了语音的谐波结构、共振峰位置和噪声分布。计算频谱图时，每个音频帧经过FFT后得到复数频谱，取模的平方即为功率谱，再经过Mel滤波器组压缩为感知尺度，得到Log-Mel频谱图，这是当前TinyML音频分类任务的主流输入。

频谱图参数与模型输入的关系：模型输入张量的形状通常为[1, 时间帧数, Mel频带数]，其中时间帧数由音频长度和帧移决定。例如一段1秒的音频，帧移10ms，则产生100帧；若使用40个Mel频带，则输入形状为[1, 100, 40]。这个张量可以直接输入卷积神经网络（CNN）或Transformer模型。下表对比了不同特征表示对模型输入尺寸的影响：

从表中可见，Log-Mel特征在信息保留和计算效率之间取得了最佳平衡，因此成为TinyML音频增强任务的首选输入。MFCC虽然维度更低，但因其丢弃了部分非线性信息，在噪声鲁棒性方面不如Log-Mel。

2.4 TinyML中音频数据的张量表示与量化

核心原理：TinyML模型通常运行在资源受限的MCU上，其内存可能仅有几十到几百KB。因此，音频数据在输入模型前必须经过量化（Quantization），将float32转换为int8或uint8格式。量化过程涉及两个关键参数：缩放因子（Scale）和零点（Zero Point）。对于音频特征，通常采用非对称量化，因为Log-Mel特征值均为非负且分布集中。量化公式为：q = round(r / scale) + zero_point，其中r为原始浮点值，q为量化后的整数。

处理流程与代码示例：完整的TinyML音频数据流水线包括以下步骤：

// 伪代码：TinyML音频预处理流水线
// 1. 从麦克风DMA读取原始PCM数据
int16_t pcm_buffer[480];  // 30ms @ 16kHz

// 2. 分帧加窗（汉明窗）
for (int i = 0; i < 480; i++) {
    windowed[i] = pcm_buffer[i] * hamming_window[i];
}

// 3. 执行512点FFT
fft_execute(windowed, fft_output, 512);

// 4. 计算功率谱并应用Mel滤波器组
for (int m = 0; m < 40; m++) {
    mel_energy[m] = 0;
    for (int k = 0; k < 256; k++) {
        mel_energy[m] += fft_power[k] * mel_filter[m][k];
    }
    log_mel[m] = logf(mel_energy[m] + 1e-6);
}

// 5. 量化到int8（scale=0.05, zero_point=-128）
int8_t quantized_input[40];
for (int m = 0; m < 40; m++) {
    quantized_input[m] = (int8_t)(log_mel[m] / 0.05f - 128);
}

// 6. 填充到模型输入张量 [1, 100, 40]
tensor_input[frame_idx][m] = quantized_input[m];

案例拆解：关键词唤醒系统的数据流优化

以一款基于Cortex-M4F内核MCU的关键词唤醒（KWS）系统为例，其硬件约束为：CPU主频100MHz，RAM 256KB，Flash 1MB。初始方案直接使用16kHz/16bit单声道音频，提取40维Log-Mel特征，模型输入为[1, 100, 40]的float32张量，占用16KB内存。但实际测试发现，模型推理时内存峰值达到180KB，接近RAM上限，且CPU占用率高达85%。

分析发现，瓶颈在于float32特征存储和FFT计算。优化措施如下：

• 将特征量化至int8，内存占用从16KB降至4KB，模型推理速度提升约30%。
• 将FFT从软件浮点实现改为CMSIS-DSP库的定点FFT，计算时间从12ms降至3ms。
• 将帧移从10ms调整为20ms，每秒特征帧数从100降至50，模型计算量减半，精度仅下降0.8%。

优化后，内存峰值降至96KB，CPU占用率降至40%，电池续航延长了2.3倍。这一案例说明，在TinyML中，音频数据的表示方式（量化、帧移、特征类型）对系统整体性能的影响远大于模型结构本身。

2.5 常见误区与总结复盘

误区一：忽视直流偏移与增益归一化。许多TinyML开发者直接使用原始ADC数据，未去除直流分量（DC Offset），导致频谱图中0Hz处出现高能量伪峰，干扰模型训练。正确做法是在分帧前先减去信号均值，或使用高通滤波器（截止频率60-100Hz）去除直流和低频噪声。

误区二：帧长与FFT点数不匹配。当帧长为480点而FFT点数为512时，需进行32点零填充。但零填充会引入频谱泄漏，导致频率分辨率下降。更合理的做法是直接设置帧长为512点（32ms），使帧长与FFT点数一致。

误区三：忽略量化误差对增强算法的影响。噪声混合、时间偏移和增益扰动等增强操作通常在浮点域进行，但若在量化后再做增强，会引入额外的量化噪声。建议在浮点域完成所有增强操作，最后统一量化。

误区四：将音频数据当作图像处理。频谱图虽然可以视为"图像"，但其行（频率）和列（时间）具有不同的物理意义。在数据增强时，不应随意对频谱图进行随机裁剪或旋转，而应遵循音频语义：时间轴可以平移（对应时间偏移），频率轴可以拉伸（对应音高变化），但不能旋转。