3、语音信号处理入门：采样率、位深、帧大小、音量归一化、预加重与分帧加窗

在ESP32上实现语音助手，麦克风采集到的原始数据并不能直接送入云端ASR（自动语音识别）引擎。无论是唤醒词检测还是后续的语音识别，都需要对原始音频流进行一系列数字信号处理（DSP）操作。本章将聚焦于六个核心概念：采样率、位深、帧大小、音量归一化、预加重以及分帧加窗。理解这些概念不仅关乎音频质量，更直接决定了ESP32有限的内存资源（通常为320KB SRAM）能否流畅运行算法，以及识别率能否达到可用标准。

3.1 采样率与位深：数字音频的基石

核心原理：采样率（Sample Rate）决定了每秒从连续模拟信号中抽取的离散样本点数，单位是Hz。根据奈奎斯特采样定理，要无失真地还原信号，采样率必须大于信号最高频率的两倍。对于语音识别，人声的主要能量集中在300Hz-3.4kHz（电话语音带宽），但为了保留更多摩擦音（如/s/、/sh/）和齿音细节，业界标准采用16kHz采样率。位深（Bit Depth）则决定了每个样本的振幅精度，16-bit可提供96dB的动态范围，足以覆盖从耳语到大声说话的语音强度变化。

ESP32工程实践：在ESP32-IDF中，I2S外设驱动支持多种采样率配置。对于语音助手项目，推荐使用I2S_SAMPLE_RATE_16K。位深选择I2S_BITS_PER_SAMPLE_16BIT。需要特别注意的是，ESP32的I2S外设内部DMA传输以32-bit为基本单元，因此16-bit数据在DMA缓冲区中会以左对齐或右对齐方式存储，读取时需进行移位处理。

常见误区：初学者常误以为采样率越高越好。在ESP32上，44.1kHz采样率虽然音质更好，但会带来两倍以上的数据量，导致DMA中断更频繁、CPU占用率上升，且云端ASR引擎通常会将音频重采样至16kHz，白白浪费带宽和电量。

3.2 帧大小与缓冲区设计：实时处理的节奏控制

核心原理：语音信号是非平稳的，但在10-30ms的短时间尺度内可视为平稳。因此，DSP处理以“帧”为单位进行。帧大小（Frame Size）指每帧包含的样本点数，帧移（Hop Size）指相邻两帧起始点之间的样本数。帧移通常为帧长的50%-75%，以保证相邻帧之间的平滑过渡。

ESP32缓冲区设计：ESP32的I2S外设通过DMA将麦克风数据持续写入内存。设计合理的DMA缓冲区大小至关重要。缓冲区太小会导致频繁中断，浪费CPU；太大则增加延迟。推荐采用双缓冲（Ping-Pong）机制：

// ESP32 I2S 配置示例
i2s_config_t i2s_config = {
    .sample_rate = 16000,
    .bits_per_sample = I2S_BITS_PER_SAMPLE_16BIT,
    .channel_format = I2S_CHANNEL_FMT_ONLY_LEFT,
    .communication_format = I2S_COMM_FORMAT_STAND_I2S,
    .dma_buf_count = 2,      // 双缓冲
    .dma_buf_len = 512,      // 每缓冲512个样本 (32ms)
    .intr_alloc_flags = ESP_INTR_FLAG_LEVEL1
};

上述配置中，每个DMA缓冲区可容纳512个16-bit样本，即32ms音频。当DMA写满一个缓冲区时触发中断，应用程序处理该缓冲区数据，同时DMA继续写入另一个缓冲区，实现无缝衔接。

案例拆解：假设我们使用上述配置，每32ms产生一次中断。在中断服务程序（ISR）中，我们通过队列将缓冲区指针传递给主循环任务。主循环任务执行以下操作：读取512个样本 → 音量归一化 → 预加重 → 分帧（每帧512点，帧移256点）→ 加窗 → 提取特征。整个过程必须在32ms内完成，否则会产生音频丢帧。ESP32以240MHz主频运行时，这些操作通常只需5-8ms，留有充足余量。

3.3 音量归一化：让语音强度标准化

核心原理：不同用户说话距离、麦克风灵敏度差异会导致音频信号幅度差异巨大。音量归一化（Volume Normalization）将信号幅度调整到统一水平，避免远端ASR因音量过低无法识别，或因音量过高产生削波失真。常用的方法有峰值归一化和RMS归一化。

实现方法：在ESP32上，由于处理的是流式数据，无法预先知道整段音频的峰值，因此采用自适应方法。一种简单有效的策略是：

// 自适应音量归一化 (基于RMS)
float rms = sqrt( sum(sample[i]^2) / frame_size );
float target_rms = 0.1;  // 目标RMS值 (约-20dBFS)
float gain = target_rms / (rms + 1e-6);
// 限制增益范围，防止过度放大
if (gain > 10.0f) gain = 10.0f;
if (gain < 0.1f) gain = 0.1f;
// 应用增益
for (int i = 0; i < frame_size; i++) {
    sample[i] = sample[i] * gain;
}

实战场景：在唤醒词检测中，归一化尤为重要。例如，用户将ESP32开发板放在桌面上，距离1米说话时，麦克风采集到的RMS值可能仅为0.02；而贴近麦克风说话时RMS值可达0.3。若不归一化，唤醒词模型的输入特征分布差异巨大，导致误唤醒或漏唤醒。通过归一化，将RMS统一调整到0.1附近，可显著提升模型鲁棒性。

3.4 预加重：提升高频分量

核心原理：语音信号在传播过程中，高频分量衰减比低频更快（声门激励的频谱特性）。预加重（Pre-emphasis）通过一阶高通滤波器提升高频成分，使频谱更加平坦，便于后续特征提取。典型滤波器为：y[n] = x[n] - α * x[n-1]，其中α通常取0.95-0.97。

ESP32实现：该操作在时域逐样本进行，计算量极低。在ESP32上，每帧512个样本的预加重仅需约10μs。

// 预加重滤波器
float alpha = 0.97f;
float prev_sample = 0.0f;  // 跨帧保留前一个样本
for (int i = 0; i < frame_size; i++) {
    float current = sample[i];
    sample[i] = current - alpha * prev_sample;
    prev_sample = current;
}

注意事项：预加重系数α的选择需要权衡。α越接近1，高频提升越强，但也会放大高频噪声。对于ESP32上的语音助手，α=0.97是常用值。此外，预加重必须在分帧之前完成，且需要跨帧保留prev_sample，否则帧边界处会产生不连续。

3.5 分帧与加窗：短时平稳假设的实现

核心原理：分帧将连续音频流切割为固定长度的帧，加窗则对每帧数据应用窗函数以减少频谱泄漏。矩形窗的旁瓣泄漏严重，而汉明窗（Hamming）和汉宁窗（Hanning）能有效降低旁瓣，是语音处理的首选。

操作流程：

1. 分帧：从归一化后的音频流中，以帧长512点（32ms）、帧移256点（16ms）截取数据。相邻帧有50%重叠，确保特征平滑。
2. 加窗：将每帧数据与汉明窗系数逐点相乘。汉明窗公式：w[n] = 0.54 - 0.46 * cos(2πn/(N-1))，其中N=512。
3. 缓存管理：由于帧移小于帧长，需要维护一个环形缓冲区。每次新数据到达时，将数据追加到缓冲区尾部，并从头部取出512点作为当前帧。

案例拆解：假设ESP32的DMA每次提供512个新样本。我们维护一个长度为768（512+256）的环形缓冲区。处理流程如下：

这种设计确保每16ms产生一个新帧，与云端ASR的流式接口（如WebSocket）完美配合。

3.6 综合实践与参数调优建议

完整处理链路：在ESP32上，上述所有步骤应在主循环任务中按顺序执行。建议将处理流程封装为模块化函数：

void audio_process_task(void *arg) {
    // 初始化环形缓冲区、窗函数表等
    while (1) {
        // 从队列接收DMA缓冲区指针
        int16_t *dma_buf = receive_from_isr();
        // 1. 将int16_t转换为float，并执行预加重
        pre_emphasis(dma_buf, 512);
        // 2. 写入环形缓冲区
        ring_buffer_write(dma_buf, 512);
        // 3. 当缓冲区满768点时，取出一帧
        while (ring_buffer_available() >= 512) {
            float frame[512];
            ring_buffer_read(frame, 512);
            // 4. 音量归一化
            normalize_volume(frame, 512);
            // 5. 加窗
            apply_hamming_window(frame, 512);
            // 6. 特征提取 (MFCC等)
            extract_features(frame);
            // 7. 送入唤醒词检测或发送至云端
        }
    }
}

参数调优清单：

• 采样率：固定16kHz，不要随意更改。
• 帧长：512点（32ms）是平衡延迟与频率分辨率的优选。若需更高频率分辨率（如区分基频），可增至1024点，但延迟增至64ms。
• 帧移：256点（16ms）保证50%重叠，是ASR的标准配置。
• 预加重系数：0.95-0.97，根据麦克风频响特性微调。
• 目标RMS：0.05-0.15，需在安静环境下用正常音量校准。

总结复盘：本章的六个概念构成了ESP32语音前端处理的核心。采样率和位深决定了数据质量，帧大小和缓冲区设计影响实时性，音量归一化保证鲁棒性，预加重和加窗则直接影响特征质量。在实际项目中，建议先用PC端工具（如Python）验证算法参数，再移植到ESP32上。同时，务必使用逻辑分析仪或串口打印监控DMA中断频率和处理耗时，确保系统在极端情况下（如Wi-Fi干扰导致CPU繁忙）也不会丢帧。