📚 课程目录第4章分帧与加窗

4、分帧与加窗：掌握分帧的帧长、帧移选择原则，理解窗函数（汉明窗、汉宁窗）的作用，并实现分帧加窗操作

语音信号是一种非平稳的时变信号，其统计特性和频谱特性随时间快速变化。然而，在极短的时间范围内（通常为10~50毫秒），人的发声器官（声带、声道）的物理运动状态可以近似视为不变，语音信号因此呈现出短时平稳性。这一特性是语音信号处理的理论基石。分帧（Framing）与加窗（Windowing）正是利用这一特性，将连续的长时语音信号切割为若干短时片段，并对每个片段施加窗函数以抑制频谱泄漏，从而为后续的MFCC特征提取提供稳定、可靠的输入单元。本章将深入剖析帧长与帧移的选取原则、窗函数的数学原理与作用，并通过完整的代码实现帮助读者建立工程直觉。

4.1 分帧的核心原理：短时平稳性的工程实现

分帧的本质是将长度为 \( L \) 的离散语音序列 \( x[n] \)（\( n = 0, 1, ..., L-1 \)）切分为若干长度为 \( N \) 的短时帧。相邻帧之间允许存在重叠区域，重叠长度由帧移 \( M \) 决定。第 \( i \) 帧的数据可以表示为：

x_i[n] = x[i·M + n],  其中 n = 0, 1, ..., N-1；i = 0, 1, ..., floor((L-N)/M)

帧长 \( N \) 决定了每帧包含的语音样本数量，直接对应时间分辨率与频率分辨率的权衡。帧移 \( M \) 则控制相邻帧的起始位置间隔，决定了帧与帧之间的信息冗余度。在MFCC特征提取中，分帧的目的并非简单切割信号，而是为后续的FFT分析提供一段“准平稳”的信号片段，使得傅里叶变换的结果具有物理意义。

从数字信号处理的角度看，分帧操作等效于对原始信号进行周期为 \( M \) 的采样，同时用长度为 \( N \) 的矩形窗截取数据。这种截取在频域上表现为频谱与矩形窗频谱的卷积，会产生频谱泄漏。因此，分帧必须与加窗配合使用，以减轻截断效应带来的频率失真。

4.2 帧长与帧移的选择原则：理论与实践的结合

帧长与帧移的选取直接影响MFCC特征的时域分辨率和频域分辨率，进而影响语音识别系统的鲁棒性。以下是工程实践中总结的核心原则：

参数	典型值	选择依据	影响分析
帧长 \( N \)	20~30ms（16kHz采样下为320~480点）	需覆盖2~3个基音周期（男性基频约100Hz，周期10ms；女性约200Hz，周期5ms）	帧长过短→频率分辨率差，FFT无法区分相近频率；帧长过长→信号不满足短时平稳假设，频谱失真
帧移 \( M \)	5~15ms（通常为帧长的1/3~1/2）	保证相邻帧之间有足够重叠，避免信息丢失；同时控制计算量	帧移过大→帧间不连续，特征序列抖动；帧移过小→计算冗余，实时性下降
重叠率	50%~75%	重叠率 = (N-M)/N × 100%	高重叠率可平滑特征轨迹，但增加计算开销

在TinyML场景中，由于MCU的计算资源和内存有限，帧长与帧移的选择还需考虑以下约束：

内存占用：每帧数据需要缓存 \( N \) 个采样点，若采用16位定点数，400点帧长占用800字节；若同时缓存多帧用于流水线处理，内存开销成倍增加。
实时性：帧移 \( M \) 决定了每帧的处理周期。在16kHz采样下，帧移160点意味着每10ms需完成一帧的MFCC计算，对MCU的主频和优化程度提出要求。
特征维度：帧长影响FFT点数，进而影响Mel滤波器组的通道数和最终MFCC维度。通常FFT点数取256或512，对应帧长256或512点。

经验值参考：在大多数语音唤醒和关键词识别（KWS）任务中，推荐使用帧长25ms（400点@16kHz）、帧移10ms（160点@16kHz）。该配置在时间分辨率、频率分辨率和计算复杂度之间取得了良好平衡，已被Google的Speech Commands数据集和多个开源TinyML项目验证。

4.3 窗函数的作用与数学原理

对分帧后的信号直接进行FFT，相当于对无限长信号施加了矩形窗截断。矩形窗的频谱主瓣较窄但旁瓣衰减极小（第一旁瓣仅-13dB），导致频谱泄漏严重。窗函数的作用是在时域上对帧内样本进行加权，使帧边缘的样本幅度平滑过渡到零，从而抑制截断引起的频谱泄漏。

设窗函数为 \( w[n] \)，加窗后的信号为 \( y_i[n] = x_i[n] \cdot w[n] \)。常用的窗函数包括：

汉明窗（Hamming）：\( w[n] = 0.54 - 0.46 \cos\left(\frac{2\pi n}{N-1}\right) \)，其中 \( 0 \le n \le N-1 \)。第一旁瓣衰减约-43dB，主瓣宽度为 \( 8\pi/(N-1) \)。
汉宁窗（Hanning）：\( w[n] = 0.5 - 0.5 \cos\left(\frac{2\pi n}{N-1}\right) \)。第一旁瓣衰减约-31dB，主瓣宽度为 \( 8\pi/(N-1) \)。
矩形窗：\( w[n] = 1 \)。主瓣最窄但旁瓣最高。

汉明窗与汉宁窗的核心区别在于系数：汉明窗在窗函数两端不为零（\( w[0] = 0.08 \)，\( w[N-1] = 0.08 \)），而汉宁窗两端严格为零。这一差异导致汉明窗的旁瓣衰减更大，但主瓣略宽；汉宁窗则能更彻底地消除帧边缘的不连续性，适用于对频谱纯净度要求更高的场景。

  频谱泄漏的量化影响：假设一个频率为 \( f_0 \) 的纯正弦信号，若帧长 \( N \) 恰好包含整数个周期，则FFT结果仅在 \( f_0 \) 处有谱线；若帧长不包含整数个周期，矩形窗会在其他频率处产生虚假谱峰。加窗后，虽然主瓣展宽，但旁瓣能量显著降低，使得MFCC提取的Mel频谱更平滑、更稳定。

4.4 分帧加窗的Python实现与工程优化

以下代码展示了在TinyML开发中常用的分帧加窗实现，采用纯NumPy实现便于原型验证，并附带了针对MCU的定点化优化思路。

import numpy as np

def framing(signal, fs=16000, frame_len_ms=25, frame_shift_ms=10):
    """
    分帧函数
    :param signal: 输入语音信号 (1D numpy array)
    :param fs: 采样率 (Hz)
    :param frame_len_ms: 帧长 (ms)
    :param frame_shift_ms: 帧移 (ms)
    :return: 帧矩阵 shape=(num_frames, frame_len)
    """
    frame_len = int(fs * frame_len_ms / 1000)   # 400点
    frame_shift = int(fs * frame_shift_ms / 1000)  # 160点
    signal_len = len(signal)
    
    # 计算总帧数（不足一帧的尾部丢弃）
    num_frames = (signal_len - frame_len) // frame_shift + 1
    
    # 使用滑动窗口索引提取帧
    indices = np.arange(frame_len)[None, :] + frame_shift * np.arange(num_frames)[:, None]
    frames = signal[indices]  # shape=(num_frames, frame_len)
    return frames

def apply_hamming_window(frames):
    """
    汉明窗加窗
    :param frames: 帧矩阵
    :return: 加窗后的帧矩阵
    """
    N = frames.shape[1]
    # 生成汉明窗系数 (浮点)
    hamming = 0.54 - 0.46 * np.cos(2 * np.pi * np.arange(N) / (N - 1))
    return frames * hamming

# 示例：16kHz采样，1秒语音
fs = 16000
t = np.arange(fs) / fs
signal = 0.5 * np.sin(2 * np.pi * 200 * t) + 0.3 * np.sin(2 * np.pi * 1500 * t)

frames = framing(signal, fs)
print(f"帧数: {frames.shape[0]}, 帧长: {frames.shape[1]}点")

windowed_frames = apply_hamming_window(frames)
print(f"加窗后帧矩阵形状: {windowed_frames.shape}")

在TinyML部署时，浮点运算成本较高，通常将窗函数系数预先计算并量化为16位定点数。例如，将汉明窗系数乘以 \( 2^{15} \) 并取整，存储为int16数组。加窗操作变为定点乘法与移位运算，大幅提升MCU上的执行效率。

4.5 案例拆解：关键词识别中的分帧参数调优

背景与约束：某智能家居项目需在Cortex-M4内核（主频80MHz，RAM 64KB）上实现“小爱同学”关键词唤醒。原始音频采样率16kHz，单帧处理预算为8ms CPU时间。

初始现象：采用帧长20ms（320点）、帧移10ms（160点）时，识别准确率仅82%，且误唤醒率偏高。分析发现，20ms帧长对低频部分（如“小”字的声母）频率分辨率不足，导致Mel滤波器输出不稳定。

分析过程：

对比不同帧长的频谱图：20ms帧长的FFT频率分辨率为50Hz，而25ms帧长为40Hz，30ms帧长为33.3Hz。对于基频约100Hz的男声，50Hz分辨率无法清晰分离基频与二次谐波。
检查帧移影响：10ms帧移下，相邻帧重叠率50%，特征序列存在明显抖动；尝试15ms帧移（重叠率25%）后，特征平滑度提升但计算量减少。
内存评估：25ms帧长（400点）需800字节缓存，加窗后立即进行FFT（256点），实际峰值内存占用约2.4KB，满足64KB RAM限制。

实际操作：将帧长调整为25ms（400点），帧移调整为10ms（160点），FFT点数设为512（对400点补零至512）。同时将汉明窗系数定点化为Q15格式。

结果对比：

参数配置	准确率	误唤醒率	单帧耗时
帧长20ms/帧移10ms	82%	1.2次/小时	6.2ms
帧长25ms/帧移10ms	91%	0.4次/小时	7.8ms
帧长30ms/帧移15ms	88%	0.6次/小时	7.1ms

风险与代价：25ms帧长方案虽准确率最高，但单帧耗时接近8ms预算上限，在极端温度下MCU主频可能下降，需预留余量。最终采用帧长25ms、帧移10ms，并启用硬件加速器（如CMSIS-DSP库的FFT函数）将耗时降至5.9ms。

复盘经验：帧长选择应优先匹配语音的基频范围，而非盲目追求长帧；帧移需兼顾特征平滑度与计算量；在资源受限时，可考虑动态调整帧长（如噪声环境下增大帧长以提高鲁棒性）。

4.6 常见误区与总结复盘

误区一：忽略帧边缘效应。直接对分帧信号做FFT而不加窗，会导致频谱泄漏严重，MFCC特征在噪声环境下剧烈波动。务必在分帧后立即加窗。

误区二：帧长与FFT点数混淆。帧长是时域样本数，FFT点数可以大于帧长（补零）以提高频谱采样密度，但不能小于帧长（会截断数据）。常见错误是将帧长设为256点却使用128点FFT。

误区三：窗函数系数未归一化。加窗会改变信号总能量，若后续特征提取依赖能量值（如VAD），需对窗函数进行能量归一化（除以窗系数的均方根值）。

总结：分帧与加窗是MFCC特征提取的“入口”，其参数选择直接决定了后续所有处理的质量。帧长25ms、帧移10ms、汉明窗是经过大量实践验证的黄金组合，但在具体项目中应结合语音特性、硬件资源和实时性要求进行微调。实现时需注意定点化优化、内存管理和边界条件处理（如信号尾部不足一帧时的丢弃策略）。掌握分帧加窗的工程细节，是构建高效TinyML语音识别系统的第一步。