3、时域与频域分析：短时傅里叶变换（STFT）、频谱图、时频分辨率权衡、常用窗函数（汉明窗、汉宁窗）的选择与应用

音频信号本质上是非平稳的——语音的元音与辅音交替、音乐的和声与节奏变化、环境噪声的突发与衰减，都意味着信号的统计特性随时间不断改变。传统的傅里叶变换只能给出信号在整个时间跨度内的平均频谱，无法回答“某个频率成分在什么时刻出现”这一关键问题。短时傅里叶变换（STFT）通过加窗分段的方式，将非平稳信号切分为一系列近似平稳的短片段，再对每个片段做傅里叶变换，从而在二维平面上同时呈现频率与时间的演化关系。本章将系统讲解STFT的数学原理、频谱图的生成与解读、时频分辨率的物理约束，以及汉明窗、汉宁窗等常用窗函数的特性与选型方法，并结合实际音频处理场景给出可操作的工程建议。

3.1 STFT核心原理与数学表达

短时傅里叶变换的基本思想是：用一个时间有限的窗函数 w[n] 沿时间轴滑动，对原始信号 x[n] 进行截取，得到一系列短时段信号 x[m]·w[n-m]，然后对每个短时段做离散傅里叶变换（DFT）。其数学定义为：

X[m, k] = Σ_{n=0}^{N-1} x[n] · w[n-m] · e^{-j2πkn/N}

其中 m 表示帧索引（时间位置），k 表示频率索引（0 ≤ k ≤ N-1），N 为帧长。每一帧经过FFT后得到一个复数频谱，其幅度谱 |X[m,k]| 反映了该时刻各频率成分的强度。将所有帧的幅度谱按时间顺序排列，就构成了频谱图（Spectrogram）。

在实际工程中，帧长 N 通常取 256、512、1024 或 2048 点，对应采样率 44.1kHz 下约 5.8ms、11.6ms、23.2ms 和 46.4ms 的时间跨度。帧移 H 一般取 N/2（50%重叠）或 N/4（75%重叠），重叠的目的是避免窗函数边缘衰减导致的信息丢失，同时使相邻帧之间的过渡平滑。STFT 的输出是一个二维复数矩阵，既包含幅度信息也包含相位信息，幅度谱用于可视化分析，相位谱则用于信号重建（如相位声码器、时域拉伸等应用）。

3.2 频谱图的生成与工程解读

频谱图是 STFT 结果的可视化呈现，其横轴为时间（帧序号或实际时间），纵轴为频率（Hz），每个像素点的颜色或亮度表示该时频点的能量幅度（通常以 dB 为单位）。生成频谱图的标准流程如下：

1. 预加重（可选）：对高频成分进行提升，补偿语音或音乐信号的高频衰减，常用一阶高通滤波器 y[n]=x[n]-αx[n-1]，α 取 0.95~0.97。
2. 分帧：按帧长 N 和帧移 H 将信号切分为重叠的帧序列。
3. 加窗：每帧乘以窗函数 w[n]，减少频谱泄漏。
4. FFT 计算：对加窗后的每帧执行 N 点 FFT，得到复数频谱。
5. 幅度谱计算与对数压缩：取幅度 |X[m,k]|，转换为 dB 刻度：20·log10(|X| + ε)，ε 为防止对数零值的微小常数。
6. 归一化与映射：将 dB 值映射到颜色映射表（如灰度、Jet、Viridis），形成最终图像。

在工程解读中，频谱图的横轴时间分辨率由帧移决定，纵轴频率分辨率由帧长决定。例如，采样率 16kHz、帧长 512 点（32ms）、帧移 256 点（16ms）时，频率分辨率为 16000/512 = 31.25Hz，时间分辨率为 16ms。这意味着两个频率差小于 31.25Hz 的成分将无法区分，而时间上间隔小于 16ms 的事件也会被模糊。

参数	典型值	对时频分辨率的影响	适用场景
帧长 N=256	5.8ms @44.1kHz	时间分辨率高，频率分辨率低（172Hz）	瞬态检测、打击乐分析
帧长 N=512	11.6ms @44.1kHz	时间与频率均衡（86Hz）	语音分析、通用音频处理
帧长 N=1024	23.2ms @44.1kHz	频率分辨率高（43Hz），时间分辨率低	音乐和弦识别、音高分析
帧长 N=2048	46.4ms @44.1kHz	频率分辨率极高（21.5Hz）	窄带频谱分析、共振峰提取

3.3 时频分辨率权衡与窗函数选择

时频分辨率受到海森堡不确定性原理的约束：时间分辨率 Δt 与频率分辨率 Δf 的乘积存在下限，即 Δt·Δf ≥ 1/(4π)。这意味着无法同时获得任意高的时间分辨率和频率分辨率。短窗在时间上定位精准，但频率展宽严重；长窗在频率上精细，但时间上模糊。因此，窗函数的选择本质上是根据应用需求在时频分辨率之间做出权衡。

常用窗函数包括矩形窗、汉宁窗（Hann）、汉明窗（Hamming）、布莱克曼窗（Blackman）和凯泽窗（Kaiser）等。矩形窗主瓣最窄、频率分辨率最高，但旁瓣衰减仅 -13dB，频谱泄漏严重；汉宁窗旁瓣衰减 -31dB，主瓣宽度为矩形窗的两倍；汉明窗旁瓣衰减 -43dB，但第一旁瓣较高；布莱克曼窗旁瓣衰减 -58dB，主瓣更宽。选择窗函数时需考虑以下因素：

• 频谱泄漏抑制需求：若信号包含强窄带成分（如 50Hz 工频干扰），需要高旁瓣衰减的窗函数（汉宁、布莱克曼）来减少泄漏对邻近频段的影响。
• 频率分辨率需求：若需要区分两个频率非常接近的成分（如钢琴相邻半音），应选择主瓣较窄的窗（矩形、汉明），但需接受较高的旁瓣。
• 幅度精度需求：汉宁窗的幅度误差约为 1.5dB，汉明窗约为 1.4dB，矩形窗无幅度误差但泄漏严重。
• 计算复杂度：所有窗函数均为 O(N) 的乘法运算，差异可忽略，但窗函数的选择会影响后续处理（如频谱平滑、峰值检测）的复杂度。

3.4 案例拆解：语音信号共振峰分析与窗长选择

背景与目标：某语音识别系统需要从 16kHz 采样率的语音信号中提取前三个共振峰（F1、F2、F3），用于元音分类。共振峰频率范围约为 300Hz~3500Hz，相邻共振峰的最小间距约为 200Hz（如 /i/ 元音的 F1≈300Hz、F2≈2300Hz）。系统要求频率分辨率至少达到 50Hz，同时时间分辨率需能捕捉音节内的共振峰过渡（约 30ms 尺度）。

初始现象与问题：初版系统使用帧长 N=256（16ms）、汉宁窗，频率分辨率为 16000/256 = 62.5Hz。实测发现 /e/ 元音的 F2（约 2000Hz）与 F3（约 2600Hz）在频谱图上出现模糊，峰值检测算法无法稳定区分，导致元音分类准确率仅 82%。

分析过程：检查频谱图发现，62.5Hz 的频率分辨率虽然满足 50Hz 的标称需求，但汉宁窗的主瓣宽度为 2·(fs/N) = 125Hz，导致两个相距 600Hz 的共振峰在频谱上仍有重叠。进一步分析发现，共振峰过渡段（如双元音 /ai/）在 16ms 帧内变化显著，短窗导致时间模糊。

解决方案：将帧长调整为 N=512（32ms），频率分辨率提升至 31.25Hz，汉宁窗主瓣宽度降至 62.5Hz，共振峰分离度显著改善。同时将帧移设为 N/4=128 点（8ms），保证时间分辨率仍能捕捉共振峰过渡。修改后，元音分类准确率提升至 94%。

结果对比与复盘：帧长从 256 增至 512 后，频率分辨率提升一倍，但时间分辨率从 16ms 降至 32ms。通过减小帧移（从 N/2 改为 N/4），时间采样密度反而提高，弥补了时间分辨率的损失。此案例说明：帧长决定物理分辨率，帧移决定采样密度，两者需独立优化。若需同时获得高时间分辨率和高频率分辨率，可考虑小波变换或自适应时频分析，但计算复杂度会显著增加。

3.5 窗函数选择决策流程与实战建议

在实际音频处理项目中，窗函数的选择应遵循以下决策流程：

1. 明确分析目标：是检测瞬态事件（选短窗）、测量稳态频谱（选长窗）、还是提取时变特征（需平衡）？
2. 评估信号特性：信号是窄带还是宽带？是否存在强干扰分量？动态范围多大？
3. 确定帧长范围：根据目标频率分辨率 Δf 计算最小帧长 N ≥ fs/Δf，再根据目标时间分辨率 Δt 计算最大帧长 N ≤ fs·Δt。
4. 选择窗函数类型：在满足旁瓣衰减要求的前提下，优先选择主瓣较窄的窗；若旁瓣要求高，选择汉宁或布莱克曼。
5. 验证与迭代：生成频谱图目视检查，计算峰值检测准确率或重建误差，必要时调整参数。

窗函数	主瓣宽度	旁瓣衰减	频率分辨率	幅度精度	推荐场景
矩形窗	2fs/N	-13dB	最高	无误差	瞬态测量、校准
汉宁窗	4fs/N	-31dB	较高	±1.5dB	语音、通用音频
汉明窗	4fs/N	-43dB	较高	±1.4dB	频谱分析仪器
布莱克曼窗	6fs/N	-58dB	中等	±1.1dB	强干扰抑制
凯泽窗(β=6)	可调	-60dB	可调	可调	灵活定制

在工程实现中，还需注意 STFT 的边界效应：信号首尾帧的窗函数覆盖不完整，导致幅度偏低。解决方案包括对信号进行边缘补零（zero-padding）或采用对称窗函数（如周期汉宁窗）。此外，当帧长 N 不是 2 的幂时，FFT 计算效率会下降，建议将 N 取为 2 的幂（如 256、512、1024），或使用混合基 FFT 算法。

综上所述，STFT 是音频时频分析的基石工具，其参数选择直接影响分析结果的可靠性与可解释性。理解时频分辨率的物理约束、掌握窗函数的频谱特性、根据应用场景灵活调整帧长与帧移，是音频算法工程师的基本功。在实际项目中，建议建立参数测试矩阵，对不同窗长、窗型组合进行系统评估，以数据驱动的方式确定最优配置。