2、基础知识：语音信号处理基础、采样率、帧、窗函数、短时傅里叶变换

语音信号处理是智能音箱唤醒词模型（KWS，Keyword Spotting）的底层基石。唤醒词检测本质上是一个对连续音频流进行"实时监听"并识别特定关键词的模式识别任务。与离线语音识别不同，KWS 系统必须在低功耗、低延迟的嵌入式设备上（如 DSP、MCU 或专用NPU）持续运行，因此对计算效率和内存占用极为敏感。理解采样率、分帧、窗函数和短时傅里叶变换（STFT）这四大基础概念，不仅决定了我们如何将物理声波转换为模型可处理的数值张量，更直接影响了唤醒率、误唤醒率和功耗之间的平衡。本章将深入剖析这些核心概念，并揭示它们在真实KWS工程中的具体应用与权衡。

2.1 采样率与量化：从连续声波到离散数字信号

核心原理

语音信号本质上是空气压力随时间变化的连续波动。计算机无法直接处理连续信号，必须通过模数转换器（ADC）将其离散化。采样率（Sampling Rate, Fs）决定了每秒采集多少个信号幅度值，单位是Hz。根据奈奎斯特采样定理，要无失真地还原信号，采样率必须至少为信号最高频率的两倍。对于唤醒词任务，人声的主要能量集中在300Hz-3.4kHz，但为了保留更多语音特征（如齿音、摩擦音的高频成分），业界普遍采用16kHz采样率，这可以覆盖8kHz以内的频率范围，足以捕捉语音识别所需的大部分信息。量化则是将连续的幅度值映射为有限个离散电平，通常使用16bit（即65536个量化级别），这提供了约96dB的动态范围，能够很好地平衡信噪比和存储开销。

判断方法与操作流程

在实际工程中，判断采样率是否合适，可以通过以下步骤验证：

1. 频谱分析：对采集的音频做FFT，观察高频段（>7kHz）是否存在有效能量。若能量极低，说明16kHz采样率已足够。
2. 混叠检查：确认ADC前端的抗混叠滤波器是否正常工作。若采样率不足，高频噪声会折叠到低频段，导致特征污染。
3. 资源评估：计算每秒数据量：16kHz × 2字节 = 32KB/s。对于1MB内存的MCU，可缓存约30秒音频，需根据唤醒词长度合理设计环形缓冲区。

案例拆解：采样率不匹配导致的唤醒失败

某智能音箱项目在初期调试时，发现唤醒词"小度小度"在特定环境下唤醒率骤降至40%。排查后发现，音频驱动配置错误地将采样率设置为8kHz，导致语音信号中3kHz以上的高频信息（如"小"字的齿音）被完全丢失。将采样率修正为16kHz后，唤醒率恢复至95%以上。这一案例说明，采样率是KWS系统的第一道关卡，任何配置错误都会在特征层面造成不可逆的信息损失。

常见误区与总结

• 误区一：认为采样率越高越好。实际上，过高的采样率会增加功耗和计算延迟，且对唤醒词任务无显著收益。
• 误区二：忽略量化位深的影响。若使用8bit量化，背景噪声下的信噪比会明显下降，导致误唤醒率上升。
• 总结：采样率和量化是KWS系统的"输入边界"，必须在项目启动时明确固定，并在整个数据采集、模型训练和部署阶段保持一致。

2.2 分帧与帧移：模拟语音的短时平稳特性

核心原理

语音信号是典型的非平稳信号，其统计特性随时间快速变化。但在极短的时间段内（10ms-30ms），声道的物理运动相对缓慢，可以近似认为信号是平稳的。因此，我们将长时语音切割为若干短时帧，每帧独立进行特征提取。帧长（Frame Length）通常取20-30ms，帧移（Frame Shift）取10-20ms。帧移小于帧长意味着相邻帧之间存在重叠，这可以避免帧边界处的信息突变，保证特征序列的平滑过渡。对于16kHz采样率，30ms帧长对应480个采样点，20ms帧移对应320个采样点。

操作流程与参数选择

在KWS模型中，通常将连续32帧（约640ms）的特征堆叠为一个输入张量，这正好覆盖一个典型唤醒词（如"你好小度"）的时长。若唤醒词较长，可适当增加帧数。

案例拆解：帧移对唤醒延迟的影响

某团队在优化唤醒延迟时，将帧移从20ms减小到10ms。虽然特征帧率翻倍，但模型推理时间也增加了约80%，导致端到端唤醒延迟从300ms上升到450ms，用户体验明显下降。最终通过将帧移恢复为20ms，并优化模型结构，在保持唤醒率的同时将延迟控制在250ms以内。这说明帧移的选择需要在时间分辨率和计算开销之间取得平衡。

常见误区与总结

• 误区一：帧长越长越好。过长的帧会平滑掉语音的瞬态特征，尤其是爆破音（如"小"字的声母x），导致唤醒率下降。
• 误区二：忽略帧移与模型输入长度的匹配。若帧移过大，32帧覆盖的时间过长，可能包含唤醒词前后的静音或噪声，干扰模型判断。
• 总结：分帧参数是KWS系统的"时间窗口"，直接影响特征的时间分辨率和计算负载，需根据目标唤醒词长度和硬件算力综合确定。

2.3 窗函数：抑制频谱泄漏的必备工具

核心原理

对一帧信号进行FFT时，相当于对该帧信号与一个矩形窗相乘。矩形窗在帧边界处产生陡峭的截断，导致频谱中出现严重的频谱泄漏——即本应集中在某个频率的能量扩散到邻近频带。为了缓解这一问题，我们使用非矩形窗函数，如汉明窗（Hamming Window）或汉宁窗（Hann Window）。这些窗函数在帧边界处平滑衰减到零，从而显著降低频谱泄漏。汉明窗的表达式为：

w[n] = 0.54 - 0.46 * cos(2πn / (N-1)),  0 ≤ n ≤ N-1

其中N为帧长。汉明窗的主瓣宽度略宽于矩形窗，但旁瓣衰减更大，更适合语音特征提取。

判断方法与选择依据

• 汉明窗：KWS任务的首选，旁瓣峰值衰减约-43dB，能有效抑制频谱泄漏，且主瓣宽度适中。
• 汉宁窗：旁瓣衰减更快（-31dB），但主瓣更宽，频率分辨率略低，适用于噪声较大的环境。
• 矩形窗：仅在需要精确频率定位且信号平稳时使用，KWS中极少采用。

案例拆解：窗函数对特征稳定性的影响

对比实验显示，使用汉明窗提取的MFCC特征在信噪比（SNR）为10dB的噪声环境下，特征向量的余弦相似度比使用矩形窗高约15%。这意味着汉明窗提取的特征在噪声干扰下更稳定，有助于提升KWS模型的鲁棒性。实际部署中，几乎所有主流KWS框架（如TensorFlow Lite Micro）都默认使用汉明窗。

常见误区与总结

• 误区一：认为加窗会丢失信息。实际上，加窗是一种加权操作，不改变信号的总能量，只是重新分配了帧内各采样点的权重。
• 误区二：窗函数与FFT点数混淆。窗函数作用于时域采样点，FFT点数可以大于帧长（通过补零），但窗函数长度必须等于帧长。
• 总结：窗函数是连接时域与频域的"整形器"，正确选择窗函数能显著提升特征质量，是KWS系统中成本最低、收益最明显的优化点之一。

2.4 短时傅里叶变换（STFT）：时频分析的基石

核心原理

短时傅里叶变换（STFT）是分帧和加窗的最终目的——将一维时域信号转换为二维时频表示。其数学定义为：对每一帧加窗后的信号x[n]·w[n]执行N点FFT，得到该帧的频谱X[k]。将所有帧的频谱按时间顺序排列，即形成STFT谱图。STFT的物理意义是：在时间轴上滑动窗函数，对每个窗内的信号进行傅里叶变换，从而获得频率成分随时间变化的规律。对于KWS任务，STFT的输出通常进一步转换为Mel频谱或MFCC特征，作为神经网络的输入。

操作流程与参数配置

1. 输入：一帧480点的时域信号（30ms @16kHz）。
2. 加窗：乘以汉明窗，得到加窗后的信号。
3. FFT：执行512点FFT（不足部分补零），得到257个有效频点（0-8kHz）。
4. 幅度谱：取FFT结果的模值，得到幅度谱|X[k]|。
5. Mel滤波：将幅度谱通过40个Mel滤波器组，得到40维Mel频谱。
6. 对数压缩：取log，模拟人耳对音量的非线性感知。

若需MFCC特征，还需对Mel频谱做离散余弦变换（DCT），取前13-40维系数。但在KWS中，原始Mel频谱（log-Mel）通常比MFCC效果更好，因为DCT会丢失部分非线性信息，而神经网络可以自行学习特征表示。

案例拆解：STFT参数对模型输入尺寸的影响

以Google Speech Commands数据集为例，每条音频为1秒，16kHz采样。采用30ms帧长、20ms帧移，共产生约49帧。若取40维Mel特征，则输入张量为40×49。但为了适配KWS模型，通常只取前32帧（约640ms），形成40×32的输入张量。这一设计既覆盖了唤醒词的主体部分，又避免了静音帧过多导致的计算浪费。

常见误区与总结

• 误区一：混淆STFT与FFT。FFT是STFT的单帧操作，STFT是FFT在时间轴上的扩展。
• 误区二：忽略相位信息。KWS特征通常只使用幅度谱，但相位信息在低信噪比环境下可能包含有用线索。若硬件算力允许，可尝试使用复数特征或相位感知特征。
• 总结：STFT是KWS特征提取的核心引擎，其参数（帧长、帧移、FFT点数、Mel滤波器数）共同决定了特征的时间分辨率、频率分辨率和维度，直接影响模型的参数量和推理速度。

2.5 综合对比与工程实践建议

在工程实践中，建议遵循以下原则：首先固定采样率为16kHz，这是所有后续处理的前提；其次根据唤醒词时长确定帧数和帧移，确保输入张量覆盖完整的语音事件；最后在硬件上验证FFT和Mel滤波的计算耗时，确保满足实时性要求（通常唤醒延迟应小于300ms）。