3、频谱图生成：从原始音频到功率谱的工程化理解
在TinyML的音频特征处理链路中，频谱图（Spectrogram）是连接时域波形与频域特征的桥梁。无论是Mel Spectrogram还是MFCC，其底层都依赖于对原始音频信号进行短时傅里叶变换（STFT）后得到的功率谱。本章将深入剖析频谱图生成的核心原理，重点讨论STFT窗口大小与重叠率这两个关键超参数如何影响频谱图的时间分辨率与频率分辨率，并给出在资源受限的嵌入式设备上选择参数的实用方法。
3.1 核心原理：从连续信号到离散频谱图
频谱图本质上是将一维的时域信号转换为二维的时频表示。其数学基础是短时傅里叶变换（STFT），核心思想是：假设信号在短时间内是平稳的，通过滑动窗口截取信号片段，对每个片段进行傅里叶变换，从而获得随时间变化的频率成分。
STFT的离散形式可表示为：
X(m, k) = Σ_{n=0}^{N-1} x(n + m·H) · w(n) · e^{-j2πkn/N}其中，x(n)为原始音频采样点，w(n)为窗函数，N为窗口长度（FFT点数），H为帧移（hop length），m为帧索引，k为频率索引。功率谱则通过对X(m,k)取模平方得到：P(m,k) = |X(m,k)|²。
在TinyML场景中，我们通常直接使用功率谱作为后续Mel滤波的输入，而非相位信息。这是因为人耳对相位不敏感，且相位信息在低比特量化下容易失真，保留功率谱可以显著降低特征维度。
3.2 窗口大小与重叠率：分辨率权衡的工程决策
窗口大小N直接决定了频率分辨率Δf = fs / N。例如，采样率fs = 16kHz时，若N = 512，则频率分辨率为31.25Hz；若N = 2048，则频率分辨率提升至7.8Hz。然而，窗口越大，时间分辨率越差——每个频谱帧代表的时间跨度越长，对瞬态声音（如按键声、爆破音）的捕捉能力越弱。
重叠率则控制相邻帧之间的时间间隔。帧移H = N × (1 - overlap)，当重叠率为50%时，H = N/2；重叠率为75%时，H = N/4。更高的重叠率意味着更多的帧数，频谱图在时间轴上更平滑，但计算量和内存占用也随之增加。
| 参数 | 窗口大小 N | 重叠率 | 时间分辨率 | 频率分辨率 | 计算量 |
|---|---|---|---|---|---|
| 小窗口 | 256 ~ 512 | 50% | 高（~16ms/帧） | 低（31~62Hz） | 低 |
| 中窗口 | 1024 | 50%~75% | 中（~32ms/帧） | 中（15.6Hz） | 中 |
| 大窗口 | 2048 ~ 4096 | 75% | 低（~64ms/帧） | 高（3.9~7.8Hz） | 高 |
N = fs × 0.025），重叠率50%~75%。例如fs = 16kHz时，N = 400，实际取FFT最接近的2的幂次即512。对于音乐或环境声音分类，可适当增大窗口至50ms以获取更好的频率细节。
3.3 操作流程：从原始音频到频谱图的完整实现
在TinyML设备上生成频谱图，需要遵循以下工程化流程：
- 预加重（可选）：使用一阶高通滤波器
y[n] = x[n] - α·x[n-1]（α通常取0.97），提升高频分量，补偿语音信号的高频衰减。 - 分帧：根据窗口大小
N和帧移H，将音频信号切分为连续帧。注意最后一帧不足时需进行零填充（zero-padding）。 - 加窗：对每一帧乘以窗函数（汉明窗或汉宁窗），减少频谱泄漏。汉明窗表达式为
w[n] = 0.54 - 0.46·cos(2πn/(N-1))。 - FFT计算：对加窗后的帧执行N点FFT，得到复数频谱。实际使用中通常只取前
N/2+1个点（单边谱）。 - 功率谱计算：对FFT结果取模平方，得到功率谱
P = |X|²。为便于后续Mel滤波，通常转换为对数功率谱或直接保留线性值。 - 帧拼接：将所有帧的功率谱按时间顺序排列，形成二维频谱图矩阵。
// 伪代码示例：STFT频谱图生成
#define N 512 // FFT窗口大小
#define HOP_LEN 256 // 帧移（50%重叠）
#define FRAME_COUNT ((AUDIO_LEN - N) / HOP_LEN + 1)
float window[N];
float frame[N];
float spectrum[N/2 + 1];
// 1. 初始化汉明窗
for (int n = 0; n < N; n++) {
window[n] = 0.54 - 0.46 * cos(2 * M_PI * n / (N - 1));
}
// 2. 分帧 + 加窗 + FFT
for (int m = 0; m < FRAME_COUNT; m++) {
for (int n = 0; n < N; n++) {
frame[n] = audio[m * HOP_LEN + n] * window[n];
}
// 执行FFT，得到复数结果
fft(frame, N, FFT_FORWARD);
// 计算功率谱（单边）
for (int k = 0; k <= N/2; k++) {
spectrum[k] = frame[k].real * frame[k].real + frame[k].imag * frame[k].imag;
}
// 将spectrum存入spectrogram[m][k]
}3.4 案例拆解：关键词识别中的参数选择与调优
以TinyML经典应用“唤醒词检测”为例，假设我们使用8-bit微控制器（如Cortex-M4 @ 80MHz），内存仅64KB，需要识别“Hey Device”这一关键词。
初始约束：采样率fs = 16kHz，音频帧长1秒（16000个采样点），内存预算中频谱图矩阵最多占用20KB。
参数选择过程：
- 窗口大小：选择
N = 512（32ms），频率分辨率31.25Hz，足以区分语音中的元音共振峰（通常间隔100Hz以上）。 - 重叠率：选择50%（
HOP_LEN = 256），帧移16ms，1秒音频产生(16000-512)/256 + 1 ≈ 61帧。 - 频谱图矩阵大小：
61帧 × 257频点 × 4字节(float) ≈ 62.7KB，超出内存预算。
优化调整：将功率谱量化为16位整数（2字节），矩阵大小降至31.3KB；进一步将频点从257降至128（仅保留0~8kHz），矩阵大小降至15.6KB，满足约束。同时，将重叠率降至37.5%（HOP_LEN = 320），帧数降至47帧，矩阵进一步缩小至12KB。
结果对比：在测试集上，50%重叠率版本准确率92.3%，37.5%重叠率版本准确率91.8%，仅下降0.5%，但计算量减少约23%。最终选择37.5%重叠率方案，以换取更低的功耗和更快的推理速度。
3.5 常见误区与总结复盘
误区一：窗口越大越好。虽然大窗口提供更好的频率分辨率，但会模糊时间细节。对于语音等非平稳信号，过大的窗口（如100ms以上）会导致频谱图“涂抹”现象，丢失瞬态特征。
误区二：忽略窗函数的影响。矩形窗虽然简单，但频谱泄漏严重，会导致相邻频率成分相互干扰。在TinyML中，汉明窗是性价比最高的选择——计算量小且旁瓣衰减适中。
误区三：FFT点数与窗口长度混淆。FFT点数可以大于窗口长度（通过零填充实现插值），但不会提高真实频率分辨率。真正的分辨率仅由窗口长度决定。
误区四：对所有任务使用相同参数。语音命令、声学事件检测、音乐分类对时频分辨率的需求不同。建议在开发初期进行参数扫描实验，绘制准确率-参数热力图，选择稳定区域内的参数组合。
- 先确定任务的时间尺度需求（瞬态 vs 稳态），再选择窗口大小。
- 在内存允许范围内，优先保证频率分辨率，因为Mel滤波会进一步压缩频率维度。
- 使用16位定点数存储功率谱，可减少50%内存占用，且对特征质量影响极小。
- 在设备上实测FFT耗时，确保每帧处理时间小于帧移时间，避免实时性崩溃。
频谱图生成是TinyML音频特征处理的第一步，也是决定后续Mel Spectrogram与MFCC质量的基础。理解窗口大小与重叠率的物理意义，掌握参数调整的工程方法，能够在资源受限的嵌入式设备上获得最优的时频表示。下一阶段，我们将基于本章生成的功率谱，进一步探讨Mel滤波器组的原理与实现。