音频信号基础：理解时域与频域表示
在TinyML的频谱特征处理中，音频信号是一切分析的起点。麦克风采集到的原始数据是一串随时间变化的电压值，即时域信号。然而，人类听觉系统对声音的感知并非基于时间轴上的振幅变化，而是基于频率成分的分布。Mel Spectrogram与MFCC之所以能成为语音识别和声音分类的主流特征，正是因为它们将时域信号转换到了更符合听觉感知的频域表示。本节将深入剖析时域与频域的本质区别、采样定理的工程约束、FFT的数学原理及其在资源受限设备上的应用边界。
2.1 时域信号的本质与采样定理
音频信号在时域中表现为连续变化的电压波形，麦克风将声波的压力变化转换为电信号。数字系统无法直接处理连续信号，必须通过模数转换器（ADC）以固定时间间隔对信号进行采样，得到离散序列 x[n]。采样定理（Nyquist-Shannon定理）给出了无失真重建的充分条件：采样频率 fs 必须大于信号最高频率成分 fmax 的两倍，即 fs > 2fmax。在实际工程中，通常取 fs 为最高频率的2.5至4倍，以留出抗混叠滤波器的过渡带余量。
采样后的离散信号还需要进行量化，即每个采样点被映射到有限个离散电平。量化位数（通常为16位或24位）决定了动态范围。16位量化提供96dB的信噪比，对于环境声音分类足够；但在低噪声场景下，24位量化能保留更多微弱信号细节。TinyML设备通常使用16位ADC，因为其功耗和成本更低，且与DSP指令集（如CMSIS-DSP）的q15格式天然匹配。
2.2 傅里叶变换与FFT的核心原理
傅里叶变换将时域信号分解为不同频率的正弦波叠加。对于长度为N的离散序列x[n]，其离散傅里叶变换（DFT）定义为：
X[k] = Σ_{n=0}^{N-1} x[n] · e^(-j2πkn/N), k = 0, 1, ..., N-1直接计算DFT需要O(N²)次复数乘法，当N=512时约需26万次乘法，这对MCU而言过于沉重。快速傅里叶变换（FFT）利用旋转因子的对称性和周期性，将计算量降至O(N log N)。以512点FFT为例，计算量约为4608次复数乘法，仅为直接计算的1/57。基-2 FFT算法要求N为2的幂次，因此工程中常用256、512、1024点FFT。
| FFT点数 | 频率分辨率 (fs=16kHz) | 帧长 (ms) | 计算量 (复数乘法) | 典型应用场景 |
|---|---|---|---|---|
| 256 | 62.5 Hz | 16 | 2048 | 低延迟唤醒词检测 |
| 512 | 31.25 Hz | 32 | 4608 | 通用语音特征提取 |
| 1024 | 15.625 Hz | 64 | 10240 | 音乐分类/高精度分析 |
FFT输出的N个复数点中，只有前N/2+1个点包含独立频率信息（对应0到fs/2），其余为共轭对称部分。每个频点的幅度为 |X[k]| = √(Re² + Im²)，相位为 atan2(Im, Re)。在Mel频谱计算中，通常只使用幅度谱，因为相位信息对听觉感知的贡献较小，且对噪声和信道变化敏感。
2.3 分帧、加窗与频谱泄漏控制
音频信号是非平稳的，其统计特性随时间变化。直接对整个信号做FFT会得到模糊的平均频谱，丢失时间演化信息。因此，需要将信号切分为短时帧（通常20-40ms），假设帧内信号近似平稳。帧移（hop length）通常为帧长的50%，即10-20ms，保证相邻帧之间有重叠，避免帧边界处的信息丢失。
直接截取矩形窗会导致频谱泄漏——信号能量从真实频率扩散到相邻频点。这是因为矩形窗的频域响应是sinc函数，具有较高的旁瓣。汉明窗（Hamming）和汉宁窗（Hann）通过平滑边缘降低旁瓣幅度，但会略微展宽主瓣。汉明窗的旁瓣衰减约-43dB，汉宁窗约-31dB，前者更适合语音处理。加窗操作在时域上表示为：
y[n] = x[n] · w[n], w[n] = 0.54 - 0.46·cos(2πn/(N-1)) // Hamming窗2.4 TinyML中FFT的工程约束与优化策略
在MCU上实现FFT面临三大约束：内存带宽、计算延迟和功耗预算。以Cortex-M4内核（主频80MHz）为例，512点复数FFT使用CMSIS-DSP库的arm_cfft_q15函数，大约需要15,000个周期，即约0.19ms。这看似很快，但若每帧都要处理，且帧移为10ms，则FFT占CPU负载约1.9%，尚可接受。然而，若使用1024点FFT且帧移为5ms，CPU负载将升至7.6%，加上后续的Mel滤波和特征计算，总负载可能超过15%。
内存方面，512点FFT需要存储输入输出缓冲区（2×512×2字节=2KB，复数q15格式），加上窗函数表（1KB）和旋转因子表（1KB），总计约4KB。对于仅有64KB RAM的MCU，这占6.25%，但考虑到音频采集DMA缓冲区、特征存储和模型推理缓冲区，内存压力仍然显著。
arm_cmplx_mag_q15直接输出幅度；⑤ 考虑使用基-4 FFT算法，在N=1024时比基-2快约20%。
2.5 案例拆解：智能门铃的音频事件检测
背景与约束：某智能门铃产品需要区分门铃声、敲门声、人声和环境噪声，采用STM32L4系列MCU（80MHz，64KB RAM），电池供电，要求平均功耗低于5mA。音频采样率16kHz，16位ADC，DMA双缓冲采集。
初始现象：初版方案直接使用512点FFT，帧移10ms，每帧提取128维Mel特征。实测发现：① 电池续航仅6小时（目标24小时）；② 门铃声与敲门声的误判率高达15%。
分析过程：通过功耗分析仪测量，FFT计算占CPU总负载的22%，其中大部分时间消耗在浮点运算上。进一步检查发现，代码使用了arm_cfft_f32浮点版本，且每次调用都重新计算旋转因子。误判原因在于512点FFT的频率分辨率31.25Hz，门铃声的谐波结构（基频约800Hz，谐波间隔约800Hz）与敲门声的宽频冲击响应在Mel域中区分度不足。
优化措施：
- 改用
arm_cfft_q15定点FFT，计算时间从0.42ms降至0.19ms，CPU负载降至10%； - 预计算旋转因子表并存入Flash，避免每次调用重复计算；
- 将帧长增至640点（40ms），帧移保持10ms，频率分辨率提升至25Hz，同时增加时间上下文信息；
- 在FFT前增加高通滤波器（截止频率100Hz），去除直流偏移和低频环境噪声；
- 采用两级分类策略：先用轻量级能量检测判断是否有声音事件，仅在事件触发时才运行完整FFT和特征提取。
结果对比：优化后，CPU负载降至6%，平均功耗降至3.2mA，续航提升至18小时。门铃声与敲门声的误判率降至3%以下。代价是Flash占用增加8KB（旋转因子表+窗函数表），但MCU拥有256KB Flash，余量充足。
复盘经验：FFT参数选择不是孤立的，它与后续特征提取、分类器复杂度、功耗预算紧密耦合。在TinyML中，应优先使用定点运算，并考虑事件驱动的稀疏计算策略——只在必要时执行FFT，而非持续运行。
2.6 常见误区与设计要点总结
- 误区一：采样率越高越好。高采样率意味着更多数据、更大FFT点数和更高功耗。对于语音，16kHz足够；对于音乐，22.05kHz已满足大部分需求。应根据信号带宽选择，而非盲目追求高采样率。
- 误区二：忽略抗混叠滤波。即使采样率满足奈奎斯特条件，模拟前端仍需低通滤波器。许多MCU内置ADC的采样电容会引入高频噪声，若不加滤波，混叠成分会污染频谱。
- 误区三：FFT点数越大越好。大FFT提高频率分辨率，但增加延迟和内存。对于实时交互系统，帧长不应超过40ms，否则用户会感知到延迟。
- 误区四：忽略窗函数的影响。矩形窗虽然主瓣最窄，但旁瓣泄漏严重。在语音处理中，汉明窗是安全默认选择；若需更高频率精度，可考虑Kaiser窗。
- 误区五：在MCU上使用浮点FFT。除非MCU带FPU（如Cortex-M7），否则浮点运算会消耗大量CPU周期。定点q15格式在精度足够（约-96dB噪声底）的情况下，性能优势明显。
理解时域与频域的转换是TinyML音频特征工程的基石。采样定理决定了信息采集的边界，FFT提供了从时域到频域的桥梁，而工程约束则要求我们在精度、速度和功耗之间做出权衡。掌握这些基础原理，才能在后续的Mel频谱和MFCC设计中做出合理决策。