2. 多帧融合原理：多曝光图像序列的获取、对齐与融合、HDR合成中的鬼影问题

各位同学，欢迎来到第二章。上一章我们聊了HDR的基础概念，说白了就是一张图里既要亮部细节，又要暗部细节。那怎么做到呢？最经典的办法就是——多帧融合。

我个人习惯把多帧融合比作「厨师做菜」。你想想看，一道好菜需要不同火候、不同调料。HDR也是一样，需要不同曝光量的图像，把它们「炒」在一起。今天我们就来拆解这个过程。

2.1 多曝光图像序列的获取

先说说怎么拍。多曝光序列，就是对着同一个场景，用不同的快门速度拍一组照片。

我在项目中遇到过不少新手，一上来就问：「到底拍几张合适？」我的回答是：看场景动态范围。一般3~5张就够用。但要注意几个关键点：

• 曝光步长：相邻两张的曝光量差1~2 EV（曝光值）。差太多，融合时容易断层；差太少，又浪费帧数。
• ISO固定：千万别边拍边调ISO。我见过有人为了省事，用自动ISO拍多帧，结果融合完噪声大得没法看。记住：只调快门，不动ISO。
• 光圈恒定：光圈影响景深，变了景深就变，融合时边缘会虚。所以光圈锁死。

参数	建议值	原因
帧数	3~5 帧	覆盖常见动态范围，兼顾处理效率
曝光步长	1~2 EV	保证融合平滑，避免信息冗余
ISO	固定（如ISO 100）	避免噪声水平不一致
光圈	固定（如f/8）	保证景深一致

2.2 图像对齐：别让画面「抖」起来

拍完多帧，下一步就是对位。你想想，手持拍摄时手会抖，风吹草动也会动。如果不做对齐，融合出来的图像就是重影的，跟鬼片似的。

对齐算法分两大类：

• 基于特征点：提取SIFT、ORB等特征，然后做单应性变换。适合大位移场景，但计算量大。
• 基于光流：计算每个像素的运动矢量。精度高，但对噪声敏感。

我个人在实际项目中更常用的是分层对齐策略：先降采样做粗对齐，再在原分辨率上做精对齐。这样既快又准。

2.3 融合算法：把好料「炒」在一起

对齐之后，就是融合了。融合的核心思想很简单：每张图只取它曝光最合适的部分。短曝光取亮部，长曝光取暗部，中间曝光取中间调。

常见的融合方法有：

1. 加权平均融合：根据像素亮度计算权重。亮部给短曝光高权重，暗部给长曝光高权重。简单，但容易产生光晕。
2. 拉普拉斯金字塔融合：把图像分解成不同频率，每层分别融合。细节保留得最好，但计算量大。
3. 基于引导滤波的融合：用引导滤波做边缘保持的权重平滑。效果好，速度也还行。

下面是一个简单的加权融合伪代码，帮你理解核心逻辑：

// 伪代码：多曝光加权融合
for each pixel (x, y):
    for each frame i:
        // 计算权重：中间亮度给高权重，过亮过暗给低权重
        weight[i] = gaussian_weight(pixel_value[i])
    // 归一化权重
    sum_weights = sum(weight)
    // 融合
    result(x, y) = sum(weight[i] * pixel_value[i]) / sum_weights

2.4 HDR合成中的鬼影问题

好，前面都是铺垫。现在聊最头疼的问题——鬼影。

什么是鬼影？就是融合后的图像里，同一个物体出现了多个半透明的影子。为什么会这样？因为场景里有运动物体。比如行人走过、树叶摇晃、汽车开过。这些运动物体在不同帧里的位置不一样，直接融合就「鬼影重重」了。

我记得有一次给客户做安防监控的HDR，场景里有个风扇一直在转。融合完一看，风扇变成了「千手观音」——十几个扇叶叠在一起。客户当场就炸了。

解决鬼影的方法，主流的有三种：

方法	原理	优点	缺点
基于运动检测	检测运动区域，只融合静止区域	实现简单，速度快	运动区域细节丢失
基于光流补偿	估计运动矢量，把运动物体对齐到参考帧	保留运动物体细节	光流估计不准时反而引入新鬼影
基于深度学习的去鬼影	用CNN直接端到端预测无鬼影结果	效果最好，鲁棒性强	需要大量训练数据，计算量大

下面这张图展示了多帧融合的完整流程，以及鬼影出现的位置：

从流程图可以看到，鬼影问题出现在对齐之后、融合之前。所以，鬼影检测与处理这一步是HDR合成的关键瓶颈。处理得好，画面干净；处理不好，满屏鬼影。