4、图像对齐技术：基于特征点的对齐（SIFT、ORB）、基于光流的对齐、基于块匹配的对齐

图像对齐，说白了就是让多张照片里的同一个像素点，在空间上能严丝合缝地叠在一起。做HDR合成时，手持拍摄几乎不可能完全静止，哪怕上三脚架，风吹草动、水面波纹都会导致微小的偏移。如果不做对齐，合成出来的结果就是重影、模糊，甚至像鬼影一样飘忽不定。

我个人习惯把对齐技术分成三大流派：特征点派、光流派、块匹配派。每种方法都有自己的脾气，选对了事半功倍，选错了……嗯，调试起来会让人抓狂。

4.1 基于特征点的对齐：SIFT 与 ORB

特征点对齐的思路很直观：先找到图像里那些“与众不同”的点——比如角点、边缘交叉点、纹理丰富区域，然后描述这些点的特征，最后在另一张图里找匹配。找到足够多的匹配点对后，就能算出一个变换矩阵，把图像扭到一起。

SIFT：精度之王，但慢

SIFT（Scale-Invariant Feature Transform）是我早期项目里最信赖的方法。它对旋转、缩放、光照变化都有很强的鲁棒性。我在做古建筑HDR记录时，遇到过光线从清晨到正午剧烈变化的情况，SIFT依然能稳定匹配出几十对特征点。

SIFT的流程大致分四步：

1. 尺度空间极值检测：在不同尺度下找候选点
2. 关键点定位：剔除低对比度和边缘响应点
3. 方向分配：为每个关键点计算主方向
4. 描述子生成：用128维向量描述局部梯度信息

但SIFT有个致命伤——慢。一张1200万像素的图，提取特征点就要几百毫秒，匹配再花几百毫秒。而且SIFT是有专利的，商用项目里用起来有法律风险。

ORB：快，但精度有上限

ORB（Oriented FAST and Rotated BRIEF）是OpenCV里我最常用的替代方案。它结合了FAST角点检测和BRIEF描述子，并加入了旋转不变性。速度比SIFT快一个数量级，在手机上也能跑实时。

我曾经在无人机航拍HDR项目里用过ORB。无人机悬停时的抖动很小，ORB完全够用，而且每帧处理时间控制在20ms以内。但如果你遇到大角度旋转或严重曝光差异，ORB的匹配质量会明显下降。

4.2 基于光流的对齐

光流法跟特征点法思路完全不同。它不找“点”，而是算每个像素的“运动矢量”。假设相邻帧之间亮度恒定、运动微小，光流就能算出每个像素从A图到B图移动了多少。

我最早接触光流是在视频稳像项目里。后来发现它在HDR对齐里也有奇效——尤其是处理动态场景中的局部运动，比如树叶晃动、水面涟漪。特征点法对这种非刚性变形基本没辙，但光流法能给出每个像素的偏移量，然后做warp（扭曲）对齐。

常用的光流算法有：

• Farneback光流：OpenCV里直接可用，稠密光流，精度中等，速度尚可
• Lucas-Kanade光流：稀疏光流，需要配合特征点使用
• 深度学习光流（如RAFT、PWC-Net）：精度高，但需要GPU，不适合嵌入式

4.3 基于块匹配的对齐

块匹配是最“暴力”的方法。把图像切成小块，然后在另一张图里搜索最相似的小块。搜索范围、匹配准则、块大小是三个关键参数。

我习惯用块匹配做粗对齐，再用光流做精对齐。比如在手机HDR算法里，先做块匹配消除整体平移，再做光流处理局部运动。这样既快又稳。

块匹配的匹配准则通常有三种：

准则	公式	特点
SAD（差和）	Σ|I₁ - I₂|	计算最快，对噪声敏感
SSD（平方差和）	Σ(I₁ - I₂)²	对大误差惩罚大，更稳定
NCC（归一化互相关）	Σ(I₁·I₂) / √(ΣI₁²·ΣI₂²)	对光照变化鲁棒，计算最慢

4.4 三种对齐技术的选择策略

你想想看，实际项目里不可能只用一种方法。我通常按这个逻辑选：

• 场景静态、曝光差异大：SIFT + RANSAC，算全局单应性矩阵
• 场景动态、曝光差异小：光流法，做逐像素warp
• 需要实时处理：ORB + 块匹配，配合金字塔加速
• 手机端HDR：块匹配做粗对齐 + 光流做精对齐，两阶段串联

下面这张图是我自己总结的决策流程，帮你快速选型：

4.5 实战中的避坑与调优

最后分享几个我踩过的坑，希望能帮你少走弯路：

• 误匹配剔除一定要做：不管用SIFT还是ORB，RANSAC是标配。我曾经偷懒没做，结果合成出来的HDR像毕加索的画。
• 图像金字塔是万金油：从粗到细的匹配策略，能大幅提升速度和鲁棒性。我几乎所有对齐项目都会用金字塔。
• 边界处理别忽略：warp之后图像边缘会有黑边或无效像素。我习惯用镜像填充或裁剪掉边缘5%的区域。
• 多帧对齐要考虑累积误差：如果对齐10帧以上，建议用第一帧做参考帧，而不是逐帧对齐。逐帧对齐误差会像滚雪球一样越来越大。