噪声模型与数据集：打好降深降噪的地基

各位同学，欢迎来到第三章。前两章我们聊了深度学习降噪的基本框架和传统方法的局限。今天，咱们要干一件非常“脏”但极其关键的活——搞清楚噪声到底是什么，以及我们拿什么数据来训练模型。

说白了，你连敌人长什么样都不知道，怎么打仗？你连训练数据都搞不对，模型再牛也是白搭。我在早期做语音增强项目时，就吃过这个亏。当时图省事，用了一堆理想化的白噪声训练，结果模型一上真实场景，直接“原地爆炸”。所以，这一章的内容，我个人认为是整个课程里最容易被忽视，但回报率最高的部分。

3.1 常见噪声类型：从白噪声到非平稳噪声

噪声不是铁板一块。你想想看，空调的嗡嗡声和马路上的车流声，能一样吗？当然不能。从信号处理的角度，我们通常把噪声分成三大类。

3.1.1 白噪声

白噪声是最理想化的噪声模型。它的功率谱密度在整个频率范围内是常数。说白了，就是所有频率的能量都一样，像白光的频谱一样均匀。为什么叫“白”？就是这个道理。

在数学上，白噪声的功率谱密度 S(f) = N₀/2。它的自相关函数是一个冲激函数。这意味着，任意两个不同时刻的噪声样本都是不相关的。

实际应用： 白噪声常用于理论分析和算法验证。但说实话，真实世界里几乎没有纯白噪声。我见过不少新手拿白噪声训练模型，然后抱怨模型在真实场景下效果差。嗯，这很正常。

3.1.2 有色噪声

有色噪声的功率谱密度不是平坦的。它根据频率分布的不同，又分好几种。最常见的包括：

• 粉红噪声（1/f 噪声）： 功率谱密度与频率成反比。低频能量高，高频能量低。自然界里很常见，比如瀑布声、心跳声。我个人觉得，粉红噪声是最接近真实环境噪声的模型之一。
• 布朗噪声（红噪声）： 功率谱密度与频率的平方成反比。比粉红噪声更“闷”，低频能量更集中。比如远处的雷声、大型机械的轰鸣。
• 蓝噪声、紫噪声： 高频能量占主导。相对少见，但在某些电子设备噪声中会出现。

3.1.3 非平稳噪声

这是最难搞的一类。非平稳噪声的统计特性随时间变化。比如：

• 瞬态噪声： 关门声、键盘敲击声、餐具碰撞声。持续时间短，能量高。
• 调制噪声： 警笛声、电话铃声。频率和幅度都在变化。
• 突发噪声： 突然的掌声、咳嗽声。

为什么非平稳噪声难处理？因为传统方法（比如谱减法）假设噪声是平稳的，但非平稳噪声打破了这一假设。深度学习模型虽然能处理，但需要足够多的、多样化的训练数据。我曾经在一个项目中，花了整整两周时间专门采集各种“意外”噪声，才把模型在真实场景下的误触发率降下来。

3.2 公开数据集：站在巨人的肩膀上

自己采集数据？成本高、周期长、还容易有版权问题。好在学术界和工业界已经为我们准备了一些高质量的数据集。我个人最常用的是下面两个。

3.2.1 DNS Challenge 数据集

这是微软发起的深度噪声抑制挑战赛（Deep Noise Suppression Challenge）提供的数据集。它包含：

• 纯净语音： 来自多个语种、多个说话人的录音，采样率16kHz或48kHz。
• 噪声数据： 超过150小时的各类噪声，包括咖啡馆、交通、办公室、公园等场景。
• 合成数据： 官方提供了混音脚本，可以按不同信噪比（SNR）生成训练数据。

这个数据集最大的优点是标准化。你用DNS Challenge的数据训练，可以和别人的结果直接对比。我建议初学者从DNS Challenge 2020版本开始，数据量适中，文档也全。

3.2.2 LibriSpeech 数据集

LibriSpeech 本身是语音识别数据集，但它的纯净语音质量极高，经常被用作降噪任务的“干净”参考。它包含：

• 约1000小时的英文有声书录音。
• 采样率16kHz，单声道。
• 按说话人、录音条件分成了多个子集（train-clean-100, train-other-500等）。

我通常的做法是：用 LibriSpeech 的 clean 子集作为纯净语音，然后用 DNS Challenge 的噪声库去混音。这样既保证了语音的多样性，又保证了噪声的真实性。

数据集	语音时长	噪声时长	采样率	主要用途
DNS Challenge	~500小时	~150小时	16/48 kHz	降噪训练与评测
LibriSpeech	~1000小时	无	16 kHz	纯净语音源
VoiceBank+DEMAND	~4小时	~10小时	48 kHz	小规模基准测试

3.3 数据增强与混音策略：让模型见过世面

有了纯净语音和噪声，下一步就是怎么把它们组合起来。这可不是简单的“语音+噪声”就完事了。好的混音策略，能让你的模型在真实场景下“见过世面”。

3.3.1 数据增强：别让模型死记硬背

数据增强的目的是增加数据的多样性，防止过拟合。常用的方法包括：

• 音调变换： 改变语音的音调，模拟不同说话人的声线。
• 速度扰动： 改变语速，模拟快语速或慢语速场景。
• 频谱掩码： 在频谱图上随机遮挡某些时间和频率区域（SpecAugment）。
• 加性噪声： 除了目标噪声，还可以随机加入一些低电平的背景噪声。

我个人的习惯是，对纯净语音做音调和速度扰动，对噪声做随机裁剪和音量抖动。这样组合出来的数据，模型很难“记住”固定模式。

3.3.2 混音策略：信噪比的艺术

混音的核心是控制信噪比（SNR）。公式很简单：

SNR(dB) = 10 * log10( P_signal / P_noise )

其中 P_signal 和 P_noise 分别是语音和噪声的功率。

在实际操作中，我建议采用动态SNR策略：

• 低SNR（-5dB 到 5dB）： 模拟嘈杂环境，训练模型的“极限”能力。
• 中SNR（5dB 到 15dB）： 模拟日常场景，如办公室、咖啡馆。
• 高SNR（15dB 以上）： 模拟相对安静的环境。

我曾经犯过一个错误：所有训练数据都用固定SNR（比如10dB）。结果模型在5dB和15dB的场景下表现都很差。后来改成在-5dB到20dB之间均匀采样，泛化能力明显提升。

3.3.3 代码示例：一个简单的混音函数

下面是一个Python函数，演示了如何将纯净语音和噪声按指定SNR混音。代码很简单，但很实用。

import numpy as np
import soundfile as sf

def mix_audio(clean_path, noise_path, snr_db, output_path):
    # 读取音频
    clean, sr = sf.read(clean_path)
    noise, _ = sf.read(noise_path)
    
    # 确保噪声长度与语音一致
    if len(noise) < len(clean):
        noise = np.tile(noise, int(np.ceil(len(clean)/len(noise))))[:len(clean)]
    else:
        noise = noise[:len(clean)]
    
    # 计算功率
    clean_power = np.mean(clean**2)
    noise_power = np.mean(noise**2)
    
    # 根据SNR调整噪声增益
    target_noise_power = clean_power / (10**(snr_db/10))
    noise_gain = np.sqrt(target_noise_power / (noise_power + 1e-10))
    noise_scaled = noise * noise_gain
    
    # 混合
    mixed = clean + noise_scaled
    
    # 防止削波
    max_val = np.max(np.abs(mixed))
    if max_val > 1.0:
        mixed = mixed / max_val
    
    sf.write(output_path, mixed, sr)
    print(f"混合完成，SNR={snr_db}dB，输出至{output_path}")