3、多帧降噪原理：时域降噪与空域降噪的区别、多帧叠加的数学基础、信噪比提升原理
多帧降噪（Multi-Frame Noise Reduction）是计算摄影中提升图像质量的核心技术之一，尤其在夜景、暗光及高ISO场景下，其作用远非单帧空域降噪可比。本章将深入剖析时域降噪与空域降噪的本质差异，推导多帧叠加的数学基础，并量化信噪比（SNR）的提升原理。理解这些底层逻辑，是掌握后续HDR合成与实时夜景算法（如多帧对齐、权重映射、运动补偿）的基石。
3.1 时域降噪与空域降噪的本质区别
图像噪声在空间域和时间域呈现出不同的统计特性。空域降噪（Spatial Denoising）针对单帧图像，利用像素与其邻域像素的相关性进行滤波，例如高斯滤波、双边滤波、非局部均值（NLM）等。其核心假设是：真实图像的局部区域具有平滑性或结构相似性，而噪声是随机独立的。然而，当噪声强度较高（如ISO 6400以上）时，空域滤波往往面临两难困境：滤波强度过小则噪声残留明显，滤波强度过大则边缘和纹理细节被过度平滑，导致图像“塑料感”或“油画感”。
时域降噪（Temporal Denoising）则利用多帧图像之间的时间冗余。在连续拍摄或视频序列中，静态场景的像素值在理想情况下是恒定的，而噪声则随时间随机波动。通过对多帧图像在对应像素位置进行加权平均，噪声因随机性而相互抵消，真实信号则被保留和增强。时域降噪的最大优势在于：它不依赖空间邻域，因此不会牺牲空间分辨率，能够更好地保留高频细节。
在实际ISP（图像信号处理器）中，两者并非互斥，而是协同工作。通常先进行时域降噪（多帧叠加），再进行轻度的空域降噪以处理残余噪声和时域滤波引入的伪影。下表从多个维度对比了两者的特性：
| 对比维度 | 空域降噪（单帧） | 时域降噪（多帧） |
|---|---|---|
| 输入数据 | 单帧图像 | 连续多帧（2~8帧或更多） |
| 噪声模型假设 | 噪声在空间上独立同分布 | 噪声在时间上独立，信号在时间上相关 |
| 细节保留能力 | 有限，易损失边缘与纹理 | 强，可保留高频细节 |
| 计算复杂度 | 低（适合实时处理） | 较高（需帧缓存与配准） |
| 运动场景处理 | 无运动问题 | 需运动补偿，否则产生鬼影 |
| 信噪比提升 | 有限（受限于图像自身结构） | 理论可提升 √N 倍（N为帧数） |
| 典型应用 | 视频实时预览、低强度噪声 | 夜景长曝光、手持超级夜景 |
3.2 多帧叠加的数学基础
多帧叠加的数学本质是样本均值估计。假设我们拍摄了N帧同一场景的图像，每帧图像在像素位置(x,y)的观测值可以建模为：
gᵢ(x,y) = f(x,y) + nᵢ(x,y), i = 1, 2, ..., N其中 f(x,y) 是真实无噪声的辐照度值，nᵢ(x,y) 是第i帧的加性噪声，通常建模为均值为0、方差为σ²的高斯白噪声（对于CMOS传感器，光子散粒噪声服从泊松分布，但在高光强下近似高斯）。对N帧进行算术平均：
ḡ(x,y) = (1/N) Σ gᵢ(x,y) = f(x,y) + (1/N) Σ nᵢ(x,y)由于噪声的独立性，平均后的噪声项方差为：
Var[(1/N)Σnᵢ] = (1/N²) Σ Var[nᵢ] = (1/N²) · N · σ² = σ²/N因此，噪声标准差变为 σ/√N。这意味着，叠加4帧，噪声标准差减半；叠加8帧，噪声标准差降至原来的约35%。信噪比（SNR）定义为信号功率与噪声功率之比，即 SNR = f² / σ²。叠加N帧后，SNR提升为：
SNR_N = f² / (σ²/N) = N · (f²/σ²) = N · SNR_1用分贝（dB）表示，SNR提升为 10·log₁₀(N) dB。例如，4帧叠加提升约6dB，8帧叠加提升约9dB。值得注意的是，这里假设帧间完全对齐且噪声独立。在实际系统中，由于传感器读出噪声、暗电流非均匀性（DSNU）和光响应非均匀性（PRNU）的存在，噪声并非完全独立，因此实际提升会略低于理论值。
3.3 信噪比提升原理与噪声模型
要深入理解信噪比提升，必须建立完整的噪声模型。CMOS图像传感器的总噪声由多个独立分量构成：
- 光子散粒噪声（Photon Shot Noise）：服从泊松分布，其方差等于信号电子数，即 σ_shot² = μ_e，其中 μ_e 是像素收集的电子数。这是噪声的物理下限。
- 读出噪声（Read Noise）：包括像素复位噪声、源跟随器热噪声和ADC量化噪声，通常在暗场下测量，单位为 e⁻（电子数）。
- 固定模式噪声（FPN）：包括暗电流非均匀性（DSNU）和光响应非均匀性（PRNU），表现为空间上的固定图案，可通过标定校正。
在低照度场景下，光子散粒噪声和读出噪声占主导。多帧叠加对散粒噪声和读出噪声均有抑制作用，因为两者在时间上都是独立的。然而，FPN在时间上是固定的，简单的帧平均无法消除FPN，必须通过减暗帧（Dark Frame Subtraction）或列/像素校正来去除。因此，一个完整的多帧降噪流程通常包含：黑电平校准 → 帧配准 → 时域滤波 → FPN校正 → 空域残差降噪。
信噪比提升的另一个重要视角是等效曝光时间。假设单帧曝光时间为 T，N帧叠加等效于将曝光时间延长至 N·T，但避免了单次长曝光带来的手抖模糊和传感器过热噪声。例如，手持拍摄夜景时，单帧曝光1/10秒，ISO 3200，噪声明显；若连拍8帧（总曝光时间0.8秒），通过多帧叠加，等效信噪比接近单帧曝光0.8秒、ISO 400的水平，同时通过配准算法消除了手抖影响。
3.4 案例拆解：手持夜景模式的工程实现
以某旗舰手机“手持超级夜景”模式为例，其算法流程如下：
背景与约束：用户手持手机拍摄夜景，环境照度约5 lux，目标是在不引入三脚架模糊的前提下，输出一张亮度均匀、噪声极低、细节丰富的12MP照片。硬件约束：传感器为1/1.28英寸，单像素尺寸1.22μm，支持全像素双核对焦（2×1 OCL）。
初始现象与目标：单帧自动曝光参数为 ISO 3200、快门1/8秒，预览画面噪声明显（SNR约18dB），暗部区域出现彩色噪点。目标是将SNR提升至30dB以上，同时保持边缘锐度（MTF50不低于0.6）。
关键输入参数：
- 连拍帧数：N=6（考虑手持抖动和用户等待时间，控制在0.8秒内完成）
- 帧间隔：约120ms（受限于ISP处理速度和DRAM带宽）
- 陀螺仪数据：用于估计帧间旋转和平移，辅助配准
分析判断过程：首先，ISP对6帧RAW图像进行黑电平校正和线性化。然后，利用陀螺仪数据计算全局仿射变换矩阵，将第2~6帧对齐到第1帧坐标系。由于手持存在微小旋转，仅用平移模型会产生边缘残影，因此采用6参数仿射模型。对齐后，计算每帧与参考帧的差异图（SAD），将差异大于阈值的区域标记为“运动区域”。
实际操作步骤：
- 帧配准：使用多尺度光流（从1/4分辨率到全分辨率）进行亚像素配准，精度达到0.3像素。
- 时域叠加：对于静止区域，采用等权平均（权重=1/6）；对于运动区域，权重根据差异程度动态降低，最小权重设为0.1，防止鬼影。
- FPN校正：利用出厂标定的暗帧数据，减去固定模式噪声。
- 空域残差降噪：对叠加后的图像进行轻度双边滤波（空间sigma=1.5，灰度sigma=0.05），仅去除残余的高频噪声。
- 色调映射与锐化：应用局部对比度增强（LCE）和未锐化掩模（USM），恢复因降噪可能损失的微对比度。
结果对比：处理后图像SNR实测达到31.2dB（提升约13dB），暗部彩色噪点完全消除，边缘MTF50保持在0.63。与单帧ISO 3200图像相比，主观画质显著提升，细节保留程度接近三脚架拍摄的ISO 400长曝光图像。
风险与代价：多帧处理导致拍摄时间延长至0.8秒，对于移动中的物体（如行人、车辆）会产生局部运动模糊。此外，6帧RAW数据占用约180MB DRAM带宽，对ISP的吞吐量要求较高。在低端芯片上，可能需要降低帧数或缩小叠加区域。
复盘经验：多帧降噪的成功关键在于配准精度和运动检测的可靠性。如果配准误差超过0.5像素，叠加后图像会出现微模糊，反而降低MTF。建议在ISP中预留可配置的配准精度阈值，并针对不同场景（如夜景人像、城市灯光）调整运动检测灵敏度。