多帧融合理论：时域降噪原理、运动补偿策略、帧选择与权重分配

各位同学，欢迎来到第二章。上一章我们聊了RAW域的基础，这一章我们进入夜景算法的核心——多帧融合。

说白了，夜景拍摄最大的敌人就是噪声。单帧曝光时间拉长，手一抖就糊；ISO拉高，噪点满天飞。那怎么办？拍多帧，然后融合。这就是多帧降噪的基本思路。

我最早接触多帧融合是在一个手机项目上，当时客户要求暗光下能拍出“纯净”的画面。我们试了各种单帧降噪算法，效果都不理想。后来我意识到，单帧的信息量是有限的，你得从时间维度上“借”信息。嗯，这就是时域降噪的起点。

时域降噪原理：为什么多帧能降噪？

先问一个问题：为什么多帧平均能降噪？

假设你拍了一张暗光照片，噪声是随机的。如果你拍10张同样的场景，每张的噪声分布都不一样。把10张图叠加平均，信号部分（比如墙壁、人脸）是固定的，会增强；而噪声是随机的，会相互抵消。

数学上，如果每帧的噪声是独立同分布的高斯噪声，N帧平均后，噪声标准差会降低到原来的 1/√N。也就是说，4帧融合，噪声降低一半；9帧融合，噪声降低三分之二。

σ_fused = σ_single / √N

但这里有个坑——这个公式成立的前提是“噪声独立且同分布”。我在项目中遇到过，如果帧与帧之间的噪声有相关性（比如固定模式噪声），融合效果会大打折扣。所以，多帧融合前，通常要先做固定模式噪声校正。

运动补偿策略：不动的物体才能融合

你想想看，如果场景里有运动物体，比如行人、汽车、树叶晃动，直接平均会怎样？

结果就是——鬼影。运动物体会在融合结果里留下半透明的拖影，非常难看。

所以，多帧融合必须做运动补偿。简单说，就是先对齐帧与帧之间的运动，再融合。

运动补偿一般分三步：

1. 运动估计：计算当前帧与参考帧之间的运动矢量。
2. 运动补偿：根据运动矢量，将当前帧的像素“挪”到参考帧的位置。
3. 一致性检测：检查补偿后的像素是否真的对齐了，没对齐的标记为“运动区域”。

运动估计的方法有很多，我列个表格对比一下：

我个人习惯在手机ISP上用块匹配+金字塔光流的组合。块匹配做粗对齐，光流做细对齐。这样精度和速度都能兼顾。

帧选择与权重分配：不是所有帧都值得融合

假设你拍了10帧，是不是全部拿来融合？

不一定。有些帧可能模糊（手抖）、过曝、欠曝，或者有遮挡。把这些“坏帧”融合进去，反而会拉低整体质量。

所以，我们需要帧选择——从多帧中挑出质量最好的几帧。

帧选择的常用指标：

• 清晰度：用拉普拉斯方差或Tenengrad梯度衡量。模糊帧直接丢弃。
• 亮度：平均亮度是否在合理范围。过曝/欠曝帧降低权重或丢弃。
• 运动量：与参考帧的运动矢量大小。运动太大的帧降低权重。
• 噪声水平：估计帧的噪声方差。噪声大的帧权重低。

选好帧之后，还要分配权重。权重分配的策略直接影响融合效果：

我在实际项目中，通常用运动自适应加权+金字塔融合的组合。低频（平滑区域）用等权平均，高频（纹理区域）用运动检测后的自适应权重。这样既能降噪，又能保留细节。

多帧融合的整体流程

好了，我们把上面这些串起来，看看多帧融合的完整流程：

这个流程看起来简单，但每个环节都有很多细节。我建议你在实现时，先从最简单的等权平均开始，跑通流程，再逐步加入运动补偿和自适应权重。这样调试起来更容易定位问题。

实战中的几个坑

最后，分享几个我在项目中踩过的坑：

• 帧数不是越多越好：超过8帧后，降噪收益递减，但计算量和存储开销线性增长。我一般用4-6帧。
• 参考帧的选择很重要：通常选中间帧或清晰度最高的帧作为参考。不要选第一帧或最后一帧，因为手持拍摄时，首尾帧往往最不稳定。
• 运动检测的阈值要调：阈值太小，鬼影去不掉；阈值太大，降噪效果变差。我习惯用自适应阈值，根据场景的噪声水平动态调整。
• 注意边界处理：运动补偿后，图像边缘会出现“黑边”或“空洞”。需要做边界填充或裁剪。