4. 对齐与配准：光流法、块匹配法在HDR多帧融合中的应用
多帧HDR的核心，说白了就是“先对齐，再融合”。
你想想看，手持拍摄时手会抖，场景里可能有树叶在动、有人在走。如果直接把几帧叠在一起，画面肯定糊成一片。我早年做夜景HDR时就踩过这个坑——没做对齐，结果暗部提亮后全是重影，惨不忍睹。
所以这一章，咱们就聊聊对齐配准的两种主流方法：光流法和块匹配法。它们各有各的脾气，用对了地方，效果立竿见影。
4.1 为什么对齐是HDR融合的前提？
HDR多帧融合，通常需要3~7帧不同曝光的图像。这些帧之间，像素位置可能发生了偏移。如果不做对齐，直接融合，就会出现：
- 重影（Ghosting）：移动的物体在融合后出现半透明拖影。
- 模糊（Blur）：整体画面锐度下降，细节丢失。
- 边缘伪影（Edge Artifacts）：高对比度边缘出现错位。
核心原则：对齐的精度，直接决定了HDR融合后暗部细节的清晰度。对齐做不好，后面的去噪、提亮全是白费功夫。
4.2 块匹配法（Block Matching）
块匹配法，是我个人习惯最先尝试的方法。它思路很直接：把图像切成一个个小方块，然后在相邻帧里找最像的那个方块。
4.2.1 基本原理
假设我们有两帧图像：参考帧（Reference）和待配准帧（Target）。在参考帧中取一个大小为 N×N 的块，然后在待配准帧的一个搜索窗口内，滑动这个块，计算每个位置的相似度。
相似度度量常用两种：
- SAD（差值和）：计算快，但对光照变化敏感。
- SSD（平方差值和）：对差异更敏感，但计算量稍大。
- NCC（归一化互相关）：对光照变化鲁棒，但计算最慢。
找到最佳匹配位置后，我们就得到了一个运动向量（Motion Vector），表示这个块从参考帧到待配准帧的位移。
4.2.2 代码示例：简单的块匹配
import numpy as np
import cv2
def block_match(ref_block, target_img, search_radius=16):
"""
块匹配：在目标图像中搜索与参考块最匹配的位置
ref_block: 参考块 (N x N)
target_img: 目标图像
search_radius: 搜索半径
"""
h, w = target_img.shape
block_h, block_w = ref_block.shape
best_x, best_y = 0, 0
min_sad = float('inf')
# 搜索窗口中心（假设参考块中心在图像中心）
center_y, center_x = h // 2, w // 2
for y in range(max(0, center_y - search_radius),
min(h - block_h, center_y + search_radius)):
for x in range(max(0, center_x - search_radius),
min(w - block_w, center_x + search_radius)):
target_block = target_img[y:y+block_h, x:x+block_w]
sad = np.sum(np.abs(ref_block.astype(np.float32) -
target_block.astype(np.float32)))
if sad < min_sad:
min_sad = sad
best_x, best_y = x, y
return best_x, best_y, min_sad我的经验：块大小选 8×8 或 16×16 比较平衡。太小了容易匹配到噪声，太大了又抓不住局部运动。搜索半径一般设 16~32 像素，视图像分辨率而定。
4.2.3 块匹配的优缺点
| 优点 | 缺点 |
|---|---|
| 实现简单，计算速度快 | 对旋转、缩放不鲁棒 |
| 适合刚性运动（如相机抖动） | 块边界可能出现不连续 |
| 硬件友好，容易并行化 | 对纹理稀疏区域匹配效果差 |
4.3 光流法（Optical Flow）
光流法比块匹配更“聪明”一些。它假设像素的亮度在运动前后保持不变，然后通过求解一个优化问题，为每个像素计算一个运动向量。
4.3.1 基本原理
光流法的核心是亮度恒常性假设：
I(x, y, t) = I(x+dx, y+dy, t+dt)
把这个方程泰勒展开，就得到了光流约束方程：
Ix * u + Iy * v + It = 0
其中 u 和 v 就是我们要找的水平和垂直运动分量。但一个方程有两个未知数，解不唯一。所以需要引入额外的约束，比如：
- Lucas-Kanade 法：假设局部窗口内所有像素运动一致。
- Horn-Schunck 法：假设全局运动场是平滑的。
在实际HDR项目中，我常用的是Farneback 光流法（OpenCV里就有），它基于多项式展开，精度和速度都比较均衡。
4.3.2 代码示例：OpenCV Farneback 光流
import cv2
import numpy as np
def compute_flow(ref_img, target_img):
"""
计算从参考帧到目标帧的光流场
ref_img, target_img: 灰度图，float32类型，范围0~1
"""
# Farneback光流参数
flow = cv2.calcOpticalFlowFarneback(
ref_img, target_img,
None,
pyr_scale=0.5, # 金字塔缩放比例
levels=3, # 金字塔层数
winsize=15, # 窗口大小
iterations=3, # 每层迭代次数
poly_n=5, # 多项式展开邻域大小
poly_sigma=1.2, # 高斯标准差
flags=0
)
return flow # shape: (H, W, 2), 通道0是u, 通道1是v
# 使用光流场进行图像扭曲（对齐）
def warp_with_flow(img, flow):
h, w = img.shape[:2]
# 生成网格坐标
x, y = np.meshgrid(np.arange(w), np.arange(h))
# 加上光流位移
map_x = (x + flow[..., 0]).astype(np.float32)
map_y = (y + flow[..., 1]).astype(np.float32)
# 重映射
warped = cv2.remap(img, map_x, map_y, cv2.INTER_LINEAR)
return warped注意：光流法计算量比块匹配大得多。在移动端或实时场景下，我建议先用块匹配做粗对齐，再用光流做精对齐。我曾经在一个项目中直接上光流，结果手机发烫到能煎鸡蛋……
4.3.3 光流法的优缺点
| 优点 | 缺点 |
|---|---|
| 逐像素精度，对齐细腻 | 计算量大，实时性差 |
| 能处理非刚性运动（如人脸、水流） | 对光照突变敏感 |
| 适合大位移场景 | 纹理稀疏区域容易“跑飞” |
4.4 两种方法的对比与选择
在实际项目中，我一般这样选：
- 场景一：手持夜景，主要是相机抖动 → 块匹配就够了，又快又稳。
- 场景二：有轻微运动物体（如行人、树叶） → 光流法，配合运动掩码剔除运动区域。
- 场景三：大动态范围，暗部细节多 → 先块匹配粗对齐，再光流精对齐，最后做融合。
避坑指南：我曾经在暗光环境下直接用光流法，结果因为噪声太大，光流场全是乱的。后来我学乖了——先做一次轻度去噪，再算光流，效果好了不止一个档次。
4.5 对齐与配准的核心流程
下面这张图，是我在项目中总结出的对齐配准标准流程。你可以把它当作一个检查清单：
4.6 实际项目中的避坑指南
做对齐配准时，有几个坑我反复踩过，今天一并告诉你：
- 坑一：直接用彩色图做对齐。彩色图三个通道，计算量翻三倍。我建议先转灰度，对齐完再映射回去。
- 坑二：忽略曝光差异。HDR各帧曝光不同，直接算SAD会误匹配。可以先做一次直方图匹配或增益补偿。
- 坑三：全图统一对齐。场景中可能有运动物体和静止背景。我习惯先做运动检测，只对齐静止区域，运动区域单独处理或剔除。
- 坑四：光流参数一刀切。Farneback光流的参数（金字塔层数、窗口大小）要根据图像分辨率调整。1024×768和1920×1080的参数不能一样。
我的小技巧：在暗部区域，我会把块匹配的搜索半径放大50%。因为暗部信噪比低，匹配容易偏，大一点搜索范围能提高命中率。
4.7 小结
对齐与配准，是HDR多帧融合的“地基”。块匹配法简单高效，适合刚性运动；光流法精度高，能处理复杂运动。实际项目中，我建议根据场景灵活组合——没有银弹，只有最合适的方案。
嗯，这一章就到这里。记住：对齐做得好，暗部提亮才能不糊片。