多帧融合原理：为什么我们要拍好几张照片

大家好，欢迎来到多帧融合这一章。说实话，HDR 合成这件事，核心就一句话：一张照片搞不定，那就多拍几张。但多拍之后怎么合，才是真正的技术活。

我记得刚入行那会儿，第一次做多帧融合项目，天真地以为把几张图叠在一起就行。结果出来的效果嘛……嗯，惨不忍睹。从那以后我才明白，多帧融合远不是“叠图”那么简单。

多帧曝光的基本思想

说白了，就是让相机在不同曝光参数下拍一组照片。比如：

• 欠曝一张：保留高光细节（天空、灯箱）
• 正常一张：保留中间调
• 过曝一张：保留暗部细节（阴影、暗角）

然后把这 3 张（或更多）照片融合成一张，让亮的地方不过曝，暗的地方不死黑。这就是 HDR 的基本逻辑。

你想想看，单张照片的动态范围受限于传感器。CMOS 的宽容度也就 10-12 EV 左右，而真实场景的亮度跨度可能超过 20 EV。不拍多帧，根本没法覆盖。

为什么要用多帧？

这个问题我经常被问到。其实原因很直接：

单帧局限	多帧优势
动态范围有限（~12 EV）	可扩展到 20+ EV
高光溢出，细节丢失	欠曝帧保留高光纹理
暗部噪声严重	过曝帧提供干净暗部
无法同时看清亮部和暗部	融合后亮暗细节共存

我在项目中遇到过最典型的场景：室内拍窗外的风景。单帧拍，要么窗外一片白，要么室内一片黑。用了多帧融合之后，窗外蓝天白云，室内桌椅纹理，全都能看清。这就是多帧的价值。

多帧融合的三大挑战

好，现在问题来了。多帧融合听起来很美，但实际做起来，坑特别多。我总结下来，核心挑战就三个：对齐、鬼影、噪声。

1. 对齐（Alignment）

你手持相机拍三张照片，手肯定会抖。哪怕用三脚架，风吹草动、按快门的震动，都会导致帧间有位移。如果不做对齐，融合出来的图像就是重影的。

对齐的方法有很多：

• 全局对齐：假设整张图只有一个平移/旋转，适合三脚架场景
• 局部对齐：用光流或块匹配，逐区域对齐，适合手持拍摄
• 特征点对齐：提取 SIFT/ORB 特征，计算单应性矩阵

我个人习惯用光流法做局部对齐。虽然计算量大，但效果最稳。我曾经在一个项目中试过只用全局仿射变换，结果画面边缘全是错位，后来老老实实上了光流。

2. 鬼影（Ghosting）

鬼影是多帧融合最头疼的问题。什么叫鬼影？就是画面中有运动物体（行人、汽车、树叶），在不同帧里位置不一样，融合后就会出现半透明的“鬼影”。

解决鬼影的思路：

1. 检测运动区域：用帧差法或深度学习模型，找出哪些像素在运动
2. 选择参考帧：通常选正常曝光的帧作为基准
3. 运动区域处理：对运动区域只取参考帧的像素，不参与融合

举个例子：

// 伪代码：鬼影消除逻辑
for each pixel (x, y):
    if is_motion_region(x, y):
        output[x][y] = reference_frame[x][y]  // 只用参考帧
    else:
        output[x][y] = fuse(all_frames[x][y])  // 正常融合

嗯，这里要注意：运动检测的阈值很关键。阈值设得太低，会把静止区域误判为运动，导致融合不充分；设得太高，鬼影又消不干净。我一般先用中值滤波做预处理，再算帧间差异，效果会好很多。

3. 噪声（Noise）

多帧融合本身就有降噪效果——多张图平均，噪声会降低。但问题在于，欠曝帧的噪声特别大，过曝帧的暗部也不干净。如果融合权重分配不当，噪声会被放大。

我的处理策略：

• 信噪比加权：信噪比高的像素给更高权重
• 时域滤波：利用多帧信息做 3D 降噪
• 边缘保护：在降噪的同时保留纹理细节

我曾经在一个夜景 HDR 项目里，欠曝帧的 ISO 飙到了 6400，噪声大得像雪花。后来用了双边滤波 + 多帧平均的组合，才把噪声压下去。但代价是边缘有点糊，又补了一层锐化。

多帧融合的整体流程

说了这么多，咱们用一张图把整个流程串起来：

这张图基本概括了多帧融合的完整链路。从输入多帧图像开始，经过对齐、鬼影消除、融合、降噪，最终输出 HDR 结果。每一步都有坑，每一步都需要精细调参。

小结

多帧融合的核心思想很简单：用多张不同曝光的图像，通过对齐、鬼影消除和降噪，合成一张高动态范围图像。但真正落地时，对齐的精度、鬼影检测的鲁棒性、噪声与细节的平衡，都是需要反复打磨的。

我个人觉得，多帧融合最迷人的地方在于：它用软件的方式，突破了硬件的物理限制。你不需要买昂贵的宽动态传感器，只需要一套好的算法，就能让普通相机拍出接近人眼效果的照片。这就是图像处理的魅力所在。