三、多帧降噪原理：时域降噪与空域降噪的区别、多帧叠加的数学基础（均值/中值/加权平均）、噪声模型（高斯、泊松）与信噪比提升
多帧降噪是计算摄影与高级ISP（图像信号处理器）中最核心的夜景增强手段之一。与单帧空域降噪不同，多帧降噪利用时间维度的冗余信息，在保持细节的同时大幅抑制噪声。本章将从噪声的物理模型出发，深入剖析时域与空域降噪的本质差异，推导均值、中值与加权平均三种叠加策略的数学原理，并给出信噪比提升的量化分析方法。理解这些基础，是后续掌握HDR合成与实时夜景算法的重要前提。
3.1 时域降噪与空域降噪的本质区别
图像降噪从信息利用维度上可分为空域降噪（Spatial Denoising）与时域降噪（Temporal Denoising）。空域降噪仅依赖当前帧内像素的空间邻域关系，而时域降噪则利用多帧图像在时间轴上的冗余信息。理解两者的区别，是选择正确降噪策略的前提。
核心原理：信息维度的差异
空域降噪的基本假设是：图像中相邻像素具有高度相关性，而噪声在空间上是独立同分布的。因此，通过对邻域像素进行加权平均或非线性滤波，可以在保留信号的同时抑制噪声。常见的空域算法包括高斯滤波、双边滤波（Bilateral Filter）、非局部均值（NLM）以及BM3D等。然而，空域降噪存在一个不可回避的矛盾：细节保留与噪声抑制之间的权衡。当噪声强度较高时，为了有效降噪，滤波窗口必须增大，这不可避免地导致边缘和纹理细节的模糊。
时域降噪则完全不同。它利用的是同一场景在连续多帧中的重复观测。对于静态场景，每个像素在时间轴上的信号值基本恒定，而噪声则随时间随机波动。通过对多帧同一位置的像素进行平均，噪声被有效抑制，而信号保持不变。时域降噪的最大优势在于：它不牺牲空间分辨率，能够在保持细节锐度的同时实现显著的噪声抑制。对于动态场景，则需要引入运动估计与运动补偿（ME/MC），将不同帧中的对应像素对齐后再进行融合。
判断方法：如何选择降噪策略
| 维度 | 空域降噪 | 时域降噪 |
|---|---|---|
| 信息来源 | 单帧内空间邻域 | 多帧时间轴冗余 |
| 细节保留能力 | 较弱（易模糊边缘） | 强（不损失空间分辨率） |
| 计算复杂度 | 较低（单帧处理） | 较高（需多帧缓存+运动估计） |
| 适用场景 | 单帧图像、视频实时性要求高 | 夜景长曝光、多帧合成、低光视频 |
| 运动鲁棒性 | 不受运动影响 | 需运动补偿，运动剧烈时易产生鬼影 |
| 信噪比提升 | 有限（受限于空间相关性） | 显著（理论提升√N倍） |
工程经验：在实际ISP流水线中，空域降噪通常作为时域降噪的补充。先通过时域降噪利用帧间冗余大幅降噪，再使用轻量级空域降噪（如双边滤波）处理时域降噪后的残余噪声和运动补偿残差。这种级联策略在保持细节的同时，能有效控制计算开销。
3.2 多帧叠加的数学基础：均值、中值与加权平均
多帧叠加是多帧降噪的核心操作。不同的叠加策略在数学特性、噪声抑制能力和适用场景上存在显著差异。理解这些数学基础，是设计高效降噪算法的关键。
核心原理：三种叠加策略的数学推导
均值叠加（Mean Stacking）是最直观的多帧融合方法。假设N帧图像中同一像素位置的信号为S（恒定），噪声为n₁, n₂, ..., n_N（独立同分布，均值为0，方差为σ²），则均值叠加后的像素值为：
I_avg = (1/N) · Σ(S + nᵢ) = S + (1/N) · Σnᵢ叠加后噪声的方差为：
Var[(1/N)·Σnᵢ] = (1/N²)·ΣVar(nᵢ) = (1/N²)·N·σ² = σ²/N因此，均值叠加后噪声标准差变为σ/√N，信噪比提升√N倍。以dB为单位，SNR提升为10·log₁₀(N) dB。4帧叠加提升6dB，9帧叠加提升约9.5dB，16帧叠加提升12dB。
中值叠加（Median Stacking）取N帧中同一像素位置的中位数作为输出。中值叠加对脉冲噪声（如椒盐噪声）和异常值具有极强的鲁棒性。对于高斯噪声，中值叠加的降噪效率略低于均值叠加，其噪声标准差约为1.25·σ/√N（当N较大时）。但中值叠加的优势在于：当场景中存在短暂遮挡、反光或运动物体时，中值能有效剔除这些异常帧的影响。
加权平均（Weighted Averaging）是均值叠加的推广形式。每个像素的权重wᵢ根据该帧在该位置的质量（如噪声水平、运动程度、对焦清晰度）动态分配。加权平均的数学表达式为：
I_weighted = Σ(wᵢ · Iᵢ) / Σwᵢ最优权重分配遵循逆方差加权（Inverse-Variance Weighting）原则：权重与噪声方差成反比，即wᵢ = 1/σᵢ²。这样，噪声较大的帧自动获得较小权重，从而最大化输出信噪比。在实际系统中，权重通常由运动置信度图、噪声水平估计和帧间差异共同决定。
操作流程：多帧叠加的工程实现步骤
- 帧对齐：通过全局运动估计（仿射/透视变换）或局部运动估计（光流）将多帧图像对齐到参考帧坐标系。
- 噪声估计：根据ISO、曝光时间和传感器特性，估计每帧的噪声水平σᵢ²。常用方法包括暗帧统计、平坦区域方差分析或基于光子转移曲线（PTC）的标定。
- 权重计算：对于均值叠加，权重均等；对于加权平均，根据噪声方差和运动置信度计算每帧每个像素的权重。
- 融合叠加：按权重对对齐后的帧进行逐像素加权求和，归一化后输出。
- 后处理：对融合结果进行残余噪声的空域降噪、边缘增强和色调映射。
经验提醒：在实时夜景算法中，均值叠加虽然数学最优（对高斯噪声），但对运动残差敏感。实际工程中常采用"运动自适应加权平均"：对运动区域降低权重甚至完全排除，对静态区域使用接近均值的权重。这需要在噪声抑制和运动鲁棒性之间取得平衡。
3.3 噪声模型：高斯、泊松与信噪比提升
准确的噪声模型是多帧降噪算法设计的理论基础。不同噪声源具有不同的统计特性，对叠加策略的选择和权重分配有直接影响。
核心原理：噪声的物理来源与数学模型
泊松噪声（散粒噪声）源于光子到达传感器像素的随机性。光子到达过程服从泊松分布，其方差等于信号强度：σ² = k·S，其中k为转换增益（单位：DN/电子）。这意味着信号越强，噪声越大。在低光条件下，散粒噪声成为主要噪声源。泊松噪声的一个重要特性是：它与信号相关，因此不能简单地用固定方差的高斯模型描述。
高斯噪声（读出噪声）主要来自传感器读出电路的热噪声、放大器的噪声以及ADC量化噪声。高斯噪声的方差与信号无关，近似为常数σ_read²。在暗电流极低且曝光时间较短的情况下，读出噪声是主要限制因素。高斯噪声的叠加特性使得均值叠加的降噪效果可以精确预测。
实际传感器的总噪声模型通常表示为：
σ_total² = k·S + σ_read² + σ_fpn²其中σ_fpn²为固定模式噪声（FPN），源于像素间响应不一致性，可通过暗帧减除和增益校正来消除。在夜景多帧降噪中，通常假设FPN已被校正，主要处理泊松-高斯混合噪声。
信噪比提升的量化分析
信噪比（SNR）定义为信号功率与噪声功率之比。对于单帧图像，SNR₁ = S / σ_total。经过N帧均值叠加后，信号保持不变（S），而噪声功率降为σ_total²/N，因此：
SNR_N = S / (σ_total/√N) = √N · SNR₁以dB为单位：SNR_N(dB) = SNR₁(dB) + 10·log₁₀(N)。这意味着每增加一倍的帧数，SNR提升约3dB。然而，实际系统中存在以下限制：
- 运动限制：手持拍摄时，帧间存在微小位移，运动补偿残差会引入额外噪声，降低实际SNR提升。
- 闪烁噪声：人造光源（如LED灯）的频闪会导致帧间亮度变化，破坏时域一致性。
- 存储与带宽限制：多帧缓存需要大量内存和带宽，帧数增加会显著提高硬件成本。
| 叠加帧数N | 理论SNR提升(dB) | 噪声标准差降低比例 | 实际场景可达提升(dB) |
|---|---|---|---|
| 2 | +3.0 | 0.707× | +2.0 ~ +2.5 |
| 4 | +6.0 | 0.500× | +4.5 ~ +5.5 |
| 8 | +9.0 | 0.354× | +7.0 ~ +8.5 |
| 16 | +12.0 | 0.250× | +9.5 ~ +11.0 |
案例拆解：夜景手持拍摄的多帧降噪参数设计
场景背景：某旗舰手机在夜景模式下，使用IMX传感器（像素尺寸1.2μm，转换增益k=0.5 DN/e⁻，读出噪声σ_read=2.5 DN）。目标场景为城市夜景，环境照度约5 lux，手持拍摄，存在轻微手抖。
初始参数：单帧曝光时间1/10s，ISO 3200。在此条件下，信号强度S≈80 DN，散粒噪声σ_shot=√(0.5×80)≈6.3 DN，总噪声σ_total=√(6.3²+2.5²)≈6.8 DN。单帧SNR₁=80/6.8≈11.8（约21.4dB）。
分析过程：为了获得可接受的图像质量（SNR≥30dB），需要提升约8.6dB，即需要约7.2倍SNR提升。根据理论公式，需要N≥(10^(8.6/10))²≈52帧。但考虑到手持拍摄的运动限制，实际采用8帧叠加方案，配合运动补偿和加权平均。
实际操作：
- 连续采集8帧，每帧曝光1/10s，总曝光时间0.8s。
- 使用陀螺仪数据辅助全局运动估计，将8帧对齐到参考帧。
- 计算每帧的局部运动置信度图，运动区域权重降低至0.2，静态区域权重为1.0。
- 采用逆方差加权平均进行融合，权重wᵢ = 1/(k·Sᵢ + σ_read²)。
- 对融合结果进行轻量级双边滤波（空间sigma=2，灰度sigma=10）去除残余噪声。
结果对比：8帧加权平均后，静态区域SNR提升约7.5dB（接近理论值9dB的83%），运动区域SNR提升约4dB（因权重降低）。整体图像噪声明显减少，细节保留良好，未出现明显鬼影。
风险与代价：8帧叠加需要至少8帧的RAW缓存（约200MB内存），处理延迟约0.5s。运动补偿算法在低光条件下可能因特征点不足而失效，需结合陀螺仪数据辅助。
复盘经验：帧数并非越多越好。超过一定帧数后，运动补偿残差和闪烁噪声的影响会抵消SNR提升的收益。实际工程中，4-8帧是手持夜景模式的黄金区间。
常见误区：初学者常误以为"帧数越多越好"，盲目增加叠加帧数。实际上，当帧数超过16帧后，SNR提升趋于平缓（每增加一倍帧数仅提升3dB），而运动风险、存储开销和处理延迟却线性增长。此外，泊松噪声的"信号相关"特性意味着在极低光下，增加帧数对暗部噪声的抑制效果有限，此时应优先考虑增大单帧曝光时间或提升传感器量子效率。
3.4 总结复盘：多帧降噪的关键要点
多帧降噪的本质是利用时间维度的冗余信息换取信噪比提升。其核心优势在于不牺牲空间分辨率，但代价是引入运动估计的复杂度和多帧缓存的开销。在实际ISP设计中，需要根据场景动态调整降噪策略：静态场景优先使用时域均值叠加，运动场景使用运动自适应加权平均，极端低光场景则需结合长曝光和多帧合成。
噪声模型的准确性直接决定降噪效果的上限。泊松-高斯混合模型是当前主流选择，而固定模式噪声的校正（暗帧减除、增益校正）是前置条件。信噪比提升的理论值（√N倍）在实际系统中通常只能达到70%-85%，主要损耗来自运动补偿残差、闪烁噪声和权重分配的非最优性。
最后，多帧降噪并非孤立模块，它与HDR合成、超分辨率、去马赛克等ISP模块存在深度耦合。例如，HDR合成中的多曝光帧同样可以利用时域降噪的思想进行融合，而超分辨率中的多帧亚像素位移信息也能提升降噪效果。理解多帧降噪的数学基础，是掌握这些高级ISP特性的共同前提。