3、多帧融合降噪技术：时域降噪原理、基于运动补偿的多帧对齐、帧选择与权重计算策略
多帧融合降噪，说白了就是「用时间换画质」。你想想看，单帧照片的噪声是随机的，但场景内容是有规律的。如果我们能对齐多帧画面，把信号叠加起来，噪声就会相互抵消。这个思路在夜景算法里特别管用——毕竟晚上光线差，单帧信噪比太低，硬拉亮度全是噪点。
我个人习惯把多帧降噪拆成三个核心环节：时域滤波、运动补偿对齐、帧选择与权重分配。下面我们一个一个说。
3.1 时域降噪原理
时域降噪的基础假设很简单：信号相关，噪声独立。同一场景下，连续拍摄的 N 帧图像，真实内容基本不变，但每帧的噪声是独立同分布的。那么对 N 帧做加权平均，信号强度保持不变，噪声标准差却会降到原来的 1/√N。
举个例子。假设你拍了 4 帧夜景，每帧噪声标准差是 σ。融合后噪声标准差就是 σ/2。信噪比提升了 6 dB。这个增益非常可观。
核心公式（简化版）：
I_out(x,y) = (1/N) * Σ I_i(x,y) // 简单平均
I_out(x,y) = Σ w_i * I_i(x,y) // 加权平均，Σ w_i = 1加权平均的好处是：你可以根据每帧的质量动态调整贡献度。运动区域、过曝区域、模糊帧都可以降低权重。
但这里有个坑——时域滤波最怕运动。如果场景里有移动的物体，直接平均就会产生鬼影。我在项目中遇到过这种情况：拍夜景人像，路人走过，融合后出现半透明拖影，非常难看。所以必须引入运动补偿。
3.2 基于运动补偿的多帧对齐
运动补偿的目的，是把多帧图像映射到同一参考坐标系下。常用的方法分两类：
| 方法 | 原理 | 适用场景 | 计算量 |
|---|---|---|---|
| 全局仿射变换 | 估计 6 参数仿射矩阵（平移+旋转+缩放） | 手持抖动、小幅度旋转 | 低 |
| 局部光流法 | 逐像素或逐块估计运动矢量 | 复杂运动、物体移动 | 高 |
| 块匹配（Block Matching） | 在搜索窗口内找最相似块 | 中等运动、硬件友好 | 中 |
移动端我建议优先考虑块匹配 + 亚像素插值。为什么？因为光流法虽然精度高，但计算量太大，手机 GPU 扛不住。块匹配在硬件上容易并行化，而且配合亚像素精度（比如 1/4 像素），对齐效果已经足够好。
我的经验：在骁龙 8 Gen 2 平台上，我用 16×16 的块大小，搜索范围 ±8 像素，配合双线性插值做亚像素对齐。单帧对齐耗时控制在 2ms 以内。关键是把块匹配的 SAD 计算用 GPU 的局部内存加速。
对齐之后，还有一个重要步骤——运动一致性检测。不是所有像素都能对齐的。比如快速移动的汽车、飘动的旗帜，这些区域如果强行对齐，反而会引入错误。我的做法是：计算对齐后的残差图，残差大的像素标记为「运动区域」，在后续融合中降低权重或直接跳过。
3.3 帧选择与权重计算策略
不是所有帧都值得参与融合。你想想看，如果某一帧拍糊了，或者过曝了，硬拉进来只会拉低整体质量。所以我们需要一个帧选择机制。
我常用的帧选择指标有三个：
- 清晰度评分：用拉普拉斯方差或 Brenner 梯度，低于阈值的帧直接丢弃。
- 曝光质量：统计直方图，过曝像素（>250）和欠曝像素（<10）占比过高的帧降权。
- 运动幅度：与参考帧的全局运动矢量过大，说明拍摄时手抖严重，建议剔除。
权重计算策略，我推荐一种多因子加权方案：
w_i = w_sharpness * w_exposure * w_motion * w_temporal
其中：
- w_sharpness = exp(-α * (1 - sharpness_i / max_sharpness))
- w_exposure = 1 - (overexposed_ratio + underexposed_ratio)
- w_motion = exp(-β * motion_magnitude_i)
- w_temporal = 时间衰减因子，越靠近参考帧权重越高最后对所有权重做归一化，保证 Σ w_i = 1。这样融合后的图像既清晰，又不会引入鬼影。
注意：权重计算一定要在运动补偿之后做。因为运动补偿会改变像素位置，如果先算权重再对齐，权重和实际像素就不匹配了。我曾经在这个顺序上吃过亏，调试了整整两天才发现问题。
3.4 整体流程与硬件适配要点
下面这张图概括了多帧融合降噪的完整流程：
在移动端适配时，有几个关键点需要注意：
- 帧缓存管理：建议用环形缓冲区，最多缓存 6-8 帧。再多的话内存吃不消，而且时间跨度太大，运动补偿的误差会累积。
- 分块处理：把图像分成 64×64 的 tile，每个 tile 独立做对齐和融合。这样可以利用 GPU 的并行能力，也方便做局部运动补偿。
- 精度控制：权重计算用 Q8.8 定点数，避免浮点运算。我在项目中实测，定点数比浮点快 3 倍，精度损失不到 1%。
避坑指南：我曾经在某个项目里，帧选择阈值设得太宽松，结果把一帧轻微手抖的图也放进来融合。最终图像边缘出现重影，用户反馈说「照片像没对上焦」。后来我把清晰度阈值从 0.3 提高到 0.6，问题就解决了。阈值这东西，宁可严一点，也别放水。
好了，多帧融合降噪的核心内容就这些。时域降噪的原理不复杂，但工程实现上有很多细节。运动补偿的对齐精度、权重计算的鲁棒性、帧选择的阈值调优，这些都需要在实际项目中反复打磨。记住一句话：多帧融合不是简单的平均，而是有选择、有对齐、有加权的智能叠加。