3. 图像对齐与去鬼影：基于光流的对齐算法、基于特征匹配的对齐、去鬼影算法（Deghosting）

好，咱们进入第三章。这一章要解决的是HDR融合里最让人头疼的两个问题：图像对齐和去鬼影。

你想想看，手持相机拍包围曝光，就算你屏住呼吸，三张照片之间也一定有微小的位移。更糟的是，场景里如果有行人、车辆、树叶晃动——那不同曝光帧里同一个像素位置拍到的根本就不是同一个物体。直接融合，结果就是重影、模糊，俗称“鬼影”。

所以，对齐和去鬼影是HDR流水线里绕不开的前置步骤。我个人习惯把这两步合在一起做，因为很多去鬼影算法本身就依赖对齐结果。

核心观点： 对齐解决的是“相机运动”，去鬼影解决的是“场景运动”。两者缺一不可。

3.1 基于特征匹配的对齐

这是最经典的方法，也是我最早接触HDR时用的方案。说白了，就是找两张图里的共同特征点，算出一个变换矩阵，然后把图像扭到一起。

流程大致是这样的：

  1. 特征提取： 用SIFT、SURF或者ORB检测关键点。我个人偏爱SIFT，虽然慢一点，但稳定。ORB快，但在弱光下容易丢点。
  2. 特征匹配： 用暴力匹配或FLANN匹配器，找到两张图里对应的点对。
  3. 剔除误匹配： 这一步非常关键。用RANSAC算法剔除那些“看起来像匹配、实际是噪声”的点对。
  4. 计算变换矩阵： 根据筛选后的点对，计算单应性矩阵（Homography）或仿射矩阵。
  5. 图像重映射： 把参考帧以外的图像，通过矩阵变换到参考帧的坐标系下。
我的经验： 我曾经在一个夜景HDR项目里，因为曝光差异太大（比如-3EV和+3EV），SIFT在暗部几乎提不到特征点。后来我改用对数域特征提取，先把图像转到log空间再提特征，匹配率直接翻倍。这个技巧你可以记一下。

特征匹配对齐的优点是全局一致性好，适合场景整体平移或旋转。但缺点也很明显——如果场景里有局部运动（比如一个人走过），它会把那个人也强行对齐，反而引入鬼影。

3.2 基于光流的对齐

光流法就不一样了。它不是算一个全局变换，而是给每个像素算一个运动向量。说白了，就是告诉算法：“这个像素点，从上一帧移动到了哪里。”

我常用的光流算法是Farneback稠密光流，OpenCV里直接有。还有基于深度学习的RAFT、PWC-Net，精度更高，但速度慢。

光流对齐的步骤：

  1. 选一帧作为参考帧（通常是中间曝光的那张）。
  2. 对每一帧，计算它到参考帧的光流场。
  3. 根据光流场，把像素重新采样到参考帧的位置。

光流法的好处是局部精度高，能处理非刚体运动。但问题也来了——如果光流算错了，或者场景里有大块遮挡，结果就会产生奇怪的扭曲。

注意： 光流对齐对噪声非常敏感。如果暗部信噪比太低，光流向量会变成随机噪声。我建议在计算光流前，先对图像做一次轻度高斯滤波，或者用多尺度光流（金字塔光流）来提升鲁棒性。

下面这张图展示了两种对齐策略的差异：

图像对齐策略对比 特征匹配对齐 SIFT/ORB特征提取 RANSAC剔除误匹配 全局单应性变换 光流对齐 金字塔光流计算 稠密运动场估计 逐像素重映射 特征匹配：全局刚性变换，适合静态场景 | 光流：局部非刚性，适合动态场景但计算量大

3.3 去鬼影算法（Deghosting）

对齐做完，鬼影不一定消失。尤其是光流法，如果运动物体太大，或者曝光差异导致光流算错了，鬼影依然存在。这时候就需要专门的去鬼影算法。

去鬼影的核心思想是：检测出哪些像素是“异常”的，然后只从好的帧里取数据。

我常用的去鬼影方法有几种：

方法 原理 优点 缺点
基于中值滤波 对每个像素位置，取多帧的中值作为最终值 简单、速度快 细节丢失，边缘模糊
基于方差检测 计算多帧的像素方差，方差大的区域标记为运动区域 实现简单 对噪声敏感，容易误判
基于光流一致性 检查光流的前后一致性（forward-backward consistency） 精度高，能处理复杂运动 计算量大
基于深度学习 用CNN直接预测融合权重 效果最好 需要训练数据，泛化性不确定

我个人在工程里用得最多的是光流一致性检测。具体做法是：

  1. 计算从帧A到帧B的光流F_AB。
  2. 计算从帧B到帧A的光流F_BA。
  3. 对每个像素，检查F_AB和F_BA是否互为逆向量。如果不是，说明这个像素的运动不可靠，标记为“鬼影区域”。
  4. 在融合时，对鬼影区域的像素，只从参考帧取数据，或者用相邻帧插值。
避坑指南： 我曾经在一个项目里直接用中值滤波去鬼影，结果运动物体的边缘出现了“伪影”——因为中值滤波把不同帧的物体边缘混在一起了。后来我改用加权融合，根据像素的“可信度”分配权重，效果好了很多。具体来说，可信度可以用光流残差或局部对比度来度量。

3.4 对齐与去鬼影的工程实践

在实际项目中，我不会只用一种方法。我通常的做法是：

  • 先做特征匹配对齐，解决全局运动（比如相机抖动）。
  • 再做光流对齐，解决局部运动（比如树叶晃动）。
  • 最后做去鬼影检测，标记出那些对齐失败的区域。
  • 融合时，对正常区域用多帧加权平均，对鬼影区域只用参考帧。

下面是一个简化的代码示例，展示如何用OpenCV实现光流对齐和去鬼影：

import cv2
import numpy as np

def align_and_deghost(images, ref_idx=1):
    """
    images: list of HDR input frames (already linearized)
    ref_idx: index of reference frame
    """
    ref = images[ref_idx]
    aligned = [ref]
    
    for i, img in enumerate(images):
        if i == ref_idx:
            continue
        
        # 1. 计算光流
        flow = cv2.calcOpticalFlowFarneback(
            cv2.cvtColor(ref, cv2.COLOR_BGR2GRAY),
            cv2.cvtColor(img, cv2.COLOR_BGR2GRAY),
            None, 0.5, 3, 15, 3, 5, 1.2, 0
        )
        
        # 2. 重映射
        h, w = img.shape[:2]
        map_x, map_y = np.meshgrid(np.arange(w), np.arange(h))
        map_x = map_x.astype(np.float32) + flow[..., 0]
        map_y = map_y.astype(np.float32) + flow[..., 1]
        warped = cv2.remap(img, map_x, map_y, cv2.INTER_LINEAR)
        aligned.append(warped)
    
    # 3. 去鬼影：计算像素方差，标记异常区域
    stack = np.stack(aligned, axis=-1)
    variance = np.var(stack, axis=-1)
    motion_mask = variance > np.percentile(variance, 95)  # 取前5%高方差区域
    
    # 4. 融合：正常区域取平均，鬼影区域取参考帧
    result = np.mean(stack, axis=-1)
    result[motion_mask] = ref[motion_mask]
    
    return result
性能提示： 光流计算是HDR流水线里最慢的一步。如果你需要实时处理，可以考虑：1）降低光流金字塔层数；2）只在关键帧做光流，其他帧用插值；3）用GPU加速（OpenCV的cuda::FarnebackOpticalFlow）。我曾在嵌入式设备上把光流分辨率降到1/4，对齐精度损失不大，但速度提升了6倍。

嗯，这一章的内容就到这里。对齐和去鬼影是HDR融合里最考验工程经验的部分，没有银弹。你需要根据场景特点、计算资源、质量要求来权衡。多试几种组合，找到最适合你项目的方案。

← 上一章 📖 返回目录 下一章 →