3、音频信号处理基础：采样率、帧长、窗函数、短时傅里叶变换（STFT）与梅尔频谱

在构建实时关键词唤醒（KWS）系统时，音频信号处理是连接物理声学世界与神经网络推理之间的桥梁。ONNX Runtime 端侧部署的核心挑战在于：如何在有限的算力与内存预算下，将原始波形高效地转换为模型可识别的特征张量。本章将深入剖析采样率、帧长、窗函数、短时傅里叶变换（STFT）与梅尔频谱这五个核心概念，并揭示它们在端侧工程中的具体权衡与实现细节。理解这些基础，将直接决定你的唤醒词模型在真实设备上的鲁棒性与实时性。

音频特征提取流水线与关键参数 原始波形 采样率 fs 16kHz / 8kHz 分帧 帧长 25-50ms 帧移 10-20ms 加窗 Hamming / Hann 减少频谱泄漏 STFT / FFT NFFT=512/1024 幅度谱 |X| 梅尔滤波器组 40 / 64 个滤波器 对数压缩 MFCC / Fbank 40维特征 供神经网络输入 ONNX Runtime 量化 / 算子融合 实时推理 后处理 滑动窗口 / 阈值 触发唤醒 端侧约束：内存 < 10MB，单帧处理 < 20ms，支持 INT8 量化 关键权衡：频率分辨率 vs 时间分辨率，特征维度 vs 计算量 图：关键词唤醒系统的音频特征提取链路

3.1 采样率：声音的离散化与端侧资源的第一道门槛

核心原理

采样率（Sample Rate）决定了每秒从连续声音信号中采集的离散样本点数，单位是 Hz。根据奈奎斯特采样定理，要无失真地还原一个最高频率为 f_max 的信号，采样率必须至少为 2 × f_max。对于语音信号，人类语音的主要能量集中在 300Hz 至 3.4kHz 之间，因此传统的电话通信采用 8kHz 采样率。而现代语音识别系统为了保留更多高频细节（如摩擦音、齿音），通常使用 16kHz 采样率，其奈奎斯特频率为 8kHz，足以覆盖语音的绝大部分频带。

在端侧部署中，采样率的选择直接影响三个关键资源：内存带宽、ADC 功耗和后续特征计算的复杂度。以 16kHz 采样率为例，每秒钟产生 16000 个样本，若每个样本以 16-bit 存储，则每秒需要 32KB 的存储空间。对于持续监听的唤醒系统，这意味着一分钟约 1.92MB 的数据吞吐量。虽然现代 DSP 和 MCU 可以轻松处理这个量级，但在电池供电的 IoT 设备中，降低采样率可以显著减少 ADC 的采样功耗和 DMA 传输的负担。

工程经验：对于关键词唤醒任务，16kHz 是业界默认的黄金标准。它既能保留足够的语音细节用于区分“Hey Siri”与“Hey Cindy”这类易混淆词，又不会像 44.1kHz 那样带来不必要的计算开销。如果你的目标芯片是 Cortex-M4 级别的 MCU（主频 100MHz 左右），建议优先采用 16kHz；若芯片资源极度紧张（如 Cortex-M0），可考虑 8kHz，但需注意模型准确率可能下降 2-5%。

判断方法：如何为你的项目选择采样率

  1. 确认语音带宽需求：唤醒词中是否包含高频辅音（如“s”、“f”、“t”）？若有，建议 16kHz；若只有元音和鼻音（如“OK Google”中的“O”和“G”），8kHz 也可接受。
  2. 评估芯片算力：查阅芯片的 DMIPS（Dhrystone Million Instructions Per Second）或 CoreMark 分数。若算力低于 50 CoreMark，优先考虑 8kHz 以降低 FFT 点数。
  3. 检查音频前端硬件：确认板载 Codec（如 ES8311、WM8960）支持的目标采样率。部分低功耗 Codec 在 8kHz 模式下功耗可降低 30%。
  4. 验证模型鲁棒性：在训练阶段使用 16kHz 数据，部署时若降采样至 8kHz，需在训练时加入降采样数据增强，否则模型会因频带不匹配而性能骤降。

案例拆解：智能音箱的采样率权衡

某智能音箱项目最初采用 44.1kHz 采样率录制音频，以保证音乐播放质量。但在加入唤醒词功能后，发现 DSP 芯片在同时处理音频播放和唤醒检测时出现算力瓶颈。分析发现，44.1kHz 的 FFT 计算量是 16kHz 的约 2.76 倍（因为 FFT 点数需从 2048 降至 1024，但帧率不变）。通过将唤醒检测链路独立使用 16kHz 采样率（利用 ASRC 异步采样率转换器），并复用同一 ADC 硬件，最终将唤醒检测的 CPU 占用率从 35% 降至 12%，且唤醒率仅下降 0.8%。关键教训：不要为唤醒功能单独提高采样率，应使用独立的低采样率处理链路。

常见误区与总结

  • 误区一：采样率越高越好。实际上，过高的采样率会引入更多高频噪声，且增加 FFT 计算量，对唤醒任务无益。
  • 误区二：忽略采样率转换的代价。在端侧使用软件重采样（如线性插值）会引入额外延迟和噪声，建议使用硬件 ASRC 或高质量的 polyphase 滤波器。
  • 总结：采样率是音频处理的第一参数，它决定了后续所有处理的分辨率与成本。务必在项目初期就锁定采样率，避免后期返工。

3.2 帧长与帧移：时间分辨率的工程折中

核心原理

语音信号是时变非平稳的，但在极短的时间段内（10-30ms）可以视为平稳。因此，我们需要将连续音频流切分为固定长度的“帧”（Frame）。帧长（Frame Length）决定了每次 FFT 分析的时间窗口宽度，帧移（Frame Shift / Hop Length）决定了相邻两帧起始点之间的时间间隔。帧长与帧移的比值通常为 2:1 或 3:1，即相邻帧之间有 50% 或 66.7% 的重叠。

帧长的选择直接影响频率分辨率（Δf = fs / NFFT）与时间分辨率（即帧移）。例如，在 16kHz 采样率下，若帧长为 25ms（400 个样本），FFT 点数取 512，则频率分辨率为 16000/512 = 31.25Hz。这意味着两个频率相差小于 31.25Hz 的信号在频谱上无法区分。对于元音识别（基频通常在 100-300Hz），这个分辨率足够；但对于区分某些谐波结构复杂的辅音，可能需要更长的帧长（如 50ms）以获得更精细的频率分辨率。

经验法则：帧长通常取 20-50ms，帧移取 10-20ms。对于实时唤醒系统，帧移决定了系统的响应延迟。例如，帧移为 20ms 时，系统每 20ms 产生一帧特征，这意味着唤醒检测的延迟至少为 20ms。若帧移为 10ms，延迟减半，但计算量翻倍。

操作流程：确定帧长与帧移的步骤

  1. 确定 FFT 点数：NFFT 应大于等于帧长对应的样本数，且为 2 的幂。例如帧长 25ms @16kHz = 400 样本，取 NFFT=512。
  2. 计算频率分辨率：Δf = fs / NFFT。若 Δf > 50Hz，考虑增大 NFFT（即增大帧长）。
  3. 设定帧移：帧移 = 帧长 / 2（50% 重叠）或帧长 / 3（66.7% 重叠）。重叠越多，特征序列越平滑，但计算量越大。
  4. 验证实时性：在目标芯片上测试单帧特征提取耗时。若耗时 > 帧移，则系统无法实时运行，需增大帧移或减小 NFFT。

案例拆解：唤醒词“小爱同学”的帧参数调优

某项目在 Cortex-A53 平台上部署唤醒模型，初始参数为帧长 50ms、帧移 25ms、NFFT=1024。实测单帧特征提取耗时为 18ms，虽然小于帧移 25ms，但加上神经网络推理的 30ms，总延迟达到 48ms，导致用户感觉响应“迟钝”。通过分析发现，50ms 帧长对于“小爱同学”中的“爱”字（时长约 200ms）绰绰有余，但过长的帧长导致 FFT 点数过大。优化方案：将帧长缩短至 32ms（NFFT=512），帧移保持 16ms，特征提取耗时降至 6ms，神经网络推理因输入维度减小（时间步减少）降至 22ms，总延迟降至 28ms，唤醒率仅下降 0.3%。复盘：帧长并非越长越好，需结合唤醒词的音素时长分布来设定。

常见误区与总结

  • 误区一：帧长固定不变。对于多唤醒词系统，不同唤醒词的语速差异较大，可考虑使用多尺度帧长（如 25ms 和 50ms 并行提取），但会增加计算量。
  • 误区二：忽略帧移对延迟的影响。帧移直接决定了系统的“感知延迟”，在交互式场景中，建议帧移 ≤ 20ms。
  • 总结：帧长与帧移是时间维度的“分辨率旋钮”，需要根据目标芯片的算力、唤醒词的声学特性以及系统延迟要求综合设定。

3.3 窗函数：抑制频谱泄漏的必备工具

核心原理

对信号进行 FFT 的前提是假设该信号是周期性的。然而，对一帧有限长度的信号直接进行 FFT，相当于在时域上施加了一个矩形窗，这会导致频谱中出现“泄漏”（Spectral Leakage）——即本应集中在某个频率上的能量扩散到相邻频率。窗函数的作用是在时域上对信号进行加权，使帧边缘的幅度平滑地衰减到零，从而减少截断带来的不连续性。

常用的窗函数包括：Hamming 窗、Hann 窗和Blackman 窗。Hamming 窗在语音识别中最为常用，其主瓣宽度较窄（约 1.3 个频率分辨率单位），旁瓣衰减约 42dB，适合大多数语音特征提取场景。Hann 窗的旁瓣衰减更大（约 62dB），但主瓣稍宽，适合需要更强噪声抑制的场景。Blackman 窗的旁瓣衰减可达 74dB，但主瓣过宽，会降低频率分辨率，在语音中较少使用。

重要提醒：窗函数的选择会影响梅尔滤波器组的输出。若窗函数旁瓣过高，会导致高频段的能量泄漏到低频段，从而污染梅尔频谱的准确性。在端侧实现时，窗函数系数可以预先计算并存储为查找表（LUT），避免每次运行时计算 cos 函数带来的开销。

判断方法：如何选择窗函数

窗函数主瓣宽度旁瓣衰减适用场景
矩形窗最窄-13dB瞬态分析，不推荐用于语音
Hamming1.3 Δf-42dB语音识别、唤醒词（默认选择）
Hann1.44 Δf-62dB噪声环境下的语音增强
Blackman1.68 Δf-74dB高动态范围音频分析

实战场景：窗函数在端侧 DSP 中的实现

在 ARM Cortex-M 系列芯片上，窗函数的实现通常采用以下方式：预先计算 512 个 Hamming 窗系数（16-bit 定点格式），存储于 Flash 中。每次处理一帧时，将输入样本与窗系数逐点相乘。由于乘法操作是单周期的，512 次乘法仅需约 512 个时钟周期（假设无流水线停顿），在 100MHz 主频下耗时约 5μs，几乎可以忽略不计。但需注意，窗函数系数应使用 Q15 格式（即 -1.0 到 1.0 的定点表示），以避免浮点运算带来的功耗和延迟。

常见误区与总结

  • 误区一：忘记加窗。直接对原始帧做 FFT 会导致频谱泄漏，使梅尔频谱出现“拖尾”现象，降低模型鲁棒性。
  • 误区二：窗函数系数精度不足。使用 8-bit 量化窗系数会导致频谱失真，建议至少使用 16-bit。
  • 总结：窗函数是 STFT 的“隐形守护者”，它不改变信号的总能量，但能显著改善频谱质量。在端侧实现中，务必使用预计算的查找表。

3.4 短时傅里叶变换（STFT）与梅尔频谱：从频域到感知域

核心原理

STFT 是分析非平稳信号的标准工具。其数学表达式为：X(m, k) = Σ x(n) · w(n - mH) · e^(-j2πkn/N)，其中 m 是帧索引，k 是频率索引，H 是帧移，w 是窗函数。STFT 的输出是一个复数矩阵，通常我们取其幅度谱 |X(m, k)| 作为后续特征。在端侧实现中，FFT 是 STFT 的核心计算单元。对于 NFFT=512 的实数 FFT，可以利用实数 FFT 的对称性，将计算量减半（即使用 256 点复数 FFT 实现 512 点实数 FFT）。

梅尔频谱（Mel Spectrum）模拟人耳对频率的非线性感知。梅尔频率与线性频率的转换公式为：Mel(f) = 2595 × log10(1 + f/700)。在 STFT 幅度谱上，我们应用一组三角滤波器（通常 40 个），每个滤波器覆盖一个梅尔频带。滤波器组的中心频率在梅尔刻度上等间距分布，但在线性频率上呈对数增长。经过滤波后，对每个频带的能量取对数（log），得到对数梅尔频谱（Log-Mel），这是大多数 KWS 模型的标准输入特征。

端侧优化关键：梅尔滤波器组可以预先计算为一个稀疏矩阵（40 × 257 的浮点矩阵，对于 NFFT=512）。在端侧，我们可以将这个矩阵量化为 INT8 或 INT16 格式，并与 FFT 输出进行矩阵乘法。由于滤波器组矩阵是稀疏的（每个滤波器只覆盖约 5-10 个 FFT bin），可以使用稀疏矩阵乘法库（如 CMSIS-DSP 的 arm_sparse_mat_q15）来加速。

操作流程：从波形到梅尔频谱的完整链路

// 伪代码：端侧梅尔频谱提取流程
void compute_mel_spectrum(int16_t *pcm_frame, int16_t *mel_out) {
    // 1. 加窗：pcm_frame 与 hamming_window[512] 逐点相乘
    apply_window(pcm_frame, hamming_window, 512);
    
    // 2. 实数 FFT：使用 CMSIS-DSP 的 arm_rfft_q15
    arm_rfft_instance_q15 fft_inst;
    arm_rfft_init_q15(&fft_inst, 512, 0, 1);
    arm_rfft_q15(&fft_inst, pcm_frame, fft_output);
    
    // 3. 计算幅度谱：|X| = sqrt(re^2 + im^2)，使用 Q15 近似
    compute_magnitude(fft_output, mag_spectrum, 257); // 仅取前 257 个 bin
    
    // 4. 梅尔滤波：mel_out[40] = mel_filter_matrix[40][257] * mag_spectrum[257]
    sparse_matrix_multiply(mel_filter_matrix, mag_spectrum, mel_out, 40);
    
    // 5. 对数压缩：mel_out[i] = log(mel_out[i] + 1e-6)
    log_compress(mel_out, 40);
}

案例拆解：INT8 量化对梅尔频谱的影响

某项目在 RK3566 平台上部署 KWS 模型，初始使用 FP32 计算梅尔频谱，单帧耗时 3.2ms。为了降低功耗，尝试将梅尔滤波器组量化为 INT8。量化后，单帧耗时降至 1.1ms，但唤醒率从 96.2% 降至 94.8%。分析发现，INT8 量化导致滤波器组系数精度不足，特别是在低频段（0-500Hz），量化误差被放大。解决方案：采用混合精度——低频段（前 10 个滤波器）使用 INT16，高频段使用 INT8，最终唤醒率恢复至 95.9%，耗时仅 1.3ms。复盘：量化敏感度分析应针对滤波器组的不同频段分别进行，而非一刀切。

常见误区与总结

  • 误区一：直接使用复数 FFT 输出。KWS 模型通常只需要幅度谱，相位信息可以丢弃，以节省内存和计算量。
  • 误区二：忽略 DC 分量和 Nyquist 频率。FFT 输出的第 0 个 bin（DC）和第 NFFT/2 个 bin（Nyquist）是实数，需要特殊处理。
  • 总结：STFT 与梅尔频谱是 KWS 特征提取的核心。在端侧，应优先使用定点 FFT（如 CMSIS-DSP 的 Q15 版本），并利用滤波器组的稀疏性进行优化。

3.5 特征归一化与动态范围控制

核心原理

梅尔频谱的数值范围通常较大（0 到 100+ dB），直接输入神经网络会导致梯度不稳定。因此，需要进行归一化。常用的方法有两种：全局均值方差归一化（Global Mean-Variance Normalization）和在线归一化（Online Normalization）。全局归一化需要预先统计训练集的均值和方差，在部署时使用固定值进行 (x - μ) / σ 操作。在线归一化则根据当前输入流动态计算均值和方差，适用于环境噪声变化较大的场景，但会增加计算量。

在端侧，由于内存有限，通常采用滑动窗口归一化：维护一个长度为 N（如 100 帧）的环形缓冲区，计算该窗口内的均值和方差，对当前帧进行归一化。这种方法能适应缓慢的环境变化，且计算复杂度为 O(1)（通过增量更新）。

实践建议：对于 KWS 任务，建议使用全局归一化参数（在训练集上统计），因为唤醒词通常是在近场、低噪声环境下使用。若设备可能暴露在嘈杂环境中（如车载），则使用滑动窗口归一化（窗口长度 50-100 帧）。

判断方法：何时需要在线归一化

  • 场景一：固定位置设备（智能音箱）——使用全局归一化，参数固定，计算量最小。
  • 场景二：移动设备（手机、手表）——使用滑动窗口归一化，窗口长度 50 帧（约 1 秒），以适应环境变化。
  • 场景三：极端噪声环境（工业设备）——建议在模型输入端加入 VAD（语音活动检测），仅在语音段计算归一化统计量。

案例拆解：车载环境下的归一化策略

某车载语音助手项目在高速行驶时（风噪 70dB）唤醒率从 95% 降至 82%。分析发现，全局归一化参数是在安静室内采集的，导致在噪声环境下特征分布偏移。改用滑动窗口归一化（窗口 100 帧，约 2 秒）后，唤醒率恢复至 91%。但代价是内存增加 100 × 40 × 4B = 16KB（存储 100 帧的 40 维特征），以及每帧额外的 40 次乘加运算（计算均值和方差）。复盘：归一化策略需要根据部署环境的信噪比（SNR）动态调整，建议在固件中预留参数配置接口。

常见误区与总结

  • 误区一：在训练时使用在线归一化，部署时使用全局归一化。这会导致训练与推理不一致，模型性能下降。
  • 误区二：忽略特征裁剪。极端情况下，归一化后的特征值可能超过 ±5，建议裁剪到 [-3, 3] 范围内，防止梯度爆炸。
  • 总结：归一化是特征工程中最后一步，也是影响模型收敛和泛化能力的关键。务必保持训练与部署的一致性。

3.6 端侧部署的工程实践与性能调优

核心原理

在 ONNX Runtime 端侧部署中，音频特征提取通常作为预处理步骤，在模型推理之前完成。有两种部署模式：外部预处理（在 CPU 上使用 C/C++ 实现特征提取，然后将特征张量输入 ONNX 模型）和内部预处理（将 STFT 和梅尔滤波作为 ONNX 算子嵌入模型图中）。外部预处理更灵活，便于调试和优化；内部预处理可以利用 ONNX Runtime 的算子融合优化，但受限于算子支持情况。

对于实时性要求高的场景，建议采用流水线架构：使用双缓冲机制，一个缓冲区用于采集 PCM 数据，另一个缓冲区用于特征提取和推理。当采集缓冲区满一帧时，触发 DMA 中断，将数据拷贝到处理缓冲区，同时启动特征提取。这样可以实现采集与处理并行，隐藏特征提取的延迟。

性能瓶颈提示：在大多数 MCU 上，FFT 是最大的计算热点。使用硬件 FFT 加速器（如 Cortex-M7 的 FPU 或专用 FFT 引擎）可以显著降低耗时。若芯片无硬件 FFT，建议使用基-4 或分裂基 FFT 算法，并利用 DSP 指令（如 SIMD）进行优化。

操作流程：ONNX Runtime 集成音频预处理

  1. 步骤一：使用 C 语言实现特征提取函数，输出为 float 数组（形状 [1, 40, T]），其中 T 为时间帧数。
  2. 步骤二：将特征数组转换为 ONNX Runtime 的 OrtValue 张量，设置正确的形状和内存布局。
  3. 步骤三：创建 OrtSession 并运行推理，获取唤醒概率。
  4. 步骤四：实现滑动窗口逻辑，维护最近 T 帧的特征，每帧移更新窗口。
// ONNX Runtime C++ 集成示例
Ort::MemoryInfo mem_info = Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault);
std::vector<int64_t> input_shape = {1, 40, 32}; // 32 帧上下文
Ort::Value input_tensor = Ort::Value::CreateTensor<float>(mem_info, feature_data, 1*40*32, input_shape.data(), input_shape.size());
session.Run(Ort::RunOptions{nullptr}, &input_name, &input_tensor, 1, &output_name, &output_tensor, 1);

案例拆解：从 50ms 到 15ms 的优化历程

某 TWS 耳机项目在 BES2300 芯片上部署唤醒模型，初始端到端延迟为 50ms（特征提取 25ms + 推理 25ms）。通过性能分析（使用 ARM Cycle Counter），发现 FFT 耗时 12ms，梅尔滤波耗时 8ms，归一化耗时 3ms，其他 2ms。优化措施：①将 FFT 从浮点改为定点 Q15，耗时降至 4ms；②将梅尔滤波器组改为稀疏矩阵存储，耗时降至 2ms；③将归一化改为增量更新，耗时降至 0.5ms；④将神经网络模型从 FP32 量化为 INT8，推理耗时降至 8ms。最终总延迟降至 15ms，满足产品需求。复盘：优化应遵循“先算法后代码”的原则，优先减少计算量（如稀疏化、定点化），再考虑代码级优化（如循环展开、内存对齐）。

常见误区与总结

  • 误区一：在端侧使用 Python 进行特征提取。Python 的解释性开销和动态内存分配会导致不可预测的延迟，必须使用 C/C++。
  • 误区二：忽略内存对齐。ARM 处理器对未对齐的内存访问会触发异常或性能惩罚，建议使用 memalign 或 __ALIGNED 关键字。
    • ← 上一章 📖 返回目录 下一章 →