2、图像配准基础：特征点提取（SIFT/ORB）、特征匹配、单应性矩阵估计

图像配准，说白了就是让两张图“对齐”。在运动补偿和曝光融合里，这一步要是做不好，后面去鬼影、融合全是白搭。我刚开始接触这个方向时，总觉得配准不就是找几个点嘛，结果第一次做多曝光融合，鬼影没去掉，反而把建筑边缘搞出了重影——嗯，从那以后我再也不敢小看配准了。

这一章我们聚焦三个核心环节：特征点提取、特征匹配、单应性矩阵估计。它们构成了图像配准的完整流水线。

2.1 特征点提取：SIFT vs ORB

特征点提取，就是在一张图里找到那些“与众不同”的位置——角点、边缘、纹理突变处。这些点要具备重复性：换个角度、换个光照，还能找到同样的位置。

我个人习惯把特征点提取算法分成两派：一派是“精度派”SIFT，一派是“速度派”ORB。你想想看，如果做离线处理，SIFT几乎是不二之选；但要是做实时视频流，ORB才是王道。

SIFT（尺度不变特征变换）

SIFT的核心思想是在尺度空间中检测极值点。它构建高斯差分金字塔，然后在不同尺度上找局部极值。每个特征点附带128维描述子。

ORB（定向FAST和旋转BRIEF）

ORB是OpenCV里我最常用的特征提取器。它结合了FAST角点检测和BRIEF描述子，并加入了方向信息。ORB的256位二进制描述子，匹配时用汉明距离，速度极快。

对比维度	SIFT	ORB
检测方法	DoG尺度空间极值	FAST角点 + 金字塔
描述子维度	128维浮点向量	256位二进制串
匹配距离	欧氏距离	汉明距离
旋转不变性	通过梯度方向直方图	通过强度质心法
尺度不变性	天然支持（尺度空间）	通过图像金字塔
速度（参考）	慢（~200ms/帧）	快（~15ms/帧）
专利状态	已过期（可商用）	开源免费

2.2 特征匹配

提取完特征点，接下来就是匹配——找到两张图里哪些点是同一物理位置。匹配方法主要有两种：暴力匹配和快速最近邻匹配。

暴力匹配（Brute-Force）

说白了就是穷举：对图A的每个特征点，计算它与图B所有特征点的距离，取最近的那个。SIFT用欧氏距离，ORB用汉明距离。

// OpenCV C++ 示例：暴力匹配
cv::Ptr<cv::DescriptorMatcher> matcher = 
    cv::DescriptorMatcher::create(cv::DescriptorMatcher::BRUTEFORCE);
std::vector<cv::DMatch> matches;
matcher->match(descriptors1, descriptors2, matches);

// 按距离排序，保留前N个最佳匹配
std::sort(matches.begin(), matches.end());
double threshold = matches[0].distance * 1.5;
matches.erase(
    std::remove_if(matches.begin(), matches.end(),
        [threshold](const cv::DMatch& m) { return m.distance > threshold; }),
    matches.end());

快速最近邻匹配（FLANN）

当特征点数量很大时（比如SIFT提取了5000个点），暴力匹配就太慢了。FLANN用KD-Tree或LSH索引，匹配速度能提升一个数量级。

// 比率测试示例
std::vector<std::vector<cv::DMatch>> knnMatches;
matcher->knnMatch(descriptors1, descriptors2, knnMatches, 2);

std::vector<cv::DMatch> goodMatches;
for (auto& m : knnMatches) {
    if (m[0].distance < 0.75f * m[1].distance) {
        goodMatches.push_back(m[0]);
    }
}

2.3 单应性矩阵估计

有了匹配点对，接下来就是估计单应性矩阵。单应性矩阵是一个3×3的变换矩阵，描述两个平面之间的透视变换关系。它需要至少4对匹配点（且任意3点不共线）才能求解。

公式很简单：p' = H * p，其中p和p'是齐次坐标下的匹配点对。展开后每个点对提供两个方程，4个点对正好解出8个自由度（H的最后一个元素固定为1）。

直接线性变换（DLT）

DLT是最基础的求解方法。它构建一个2n×9的矩阵A，然后对A做SVD分解，最小奇异值对应的右奇异向量就是H的9个元素。

RANSAC + 单应性估计

RANSAC（随机抽样一致性）是处理外点的利器。它的流程是：

1. 随机选4对匹配点，用DLT估计H
2. 用H计算所有匹配点的投影误差
3. 统计误差小于阈值的内点数量
4. 重复N次，保留内点最多的H
5. 用所有内点重新优化H

// OpenCV 中的 RANSAC 单应性估计
std::vector<cv::Point2f> srcPoints, dstPoints;
// ... 从匹配结果中提取点坐标 ...

cv::Mat H = cv::findHomography(
    srcPoints, dstPoints,
    cv::RANSAC,       // 方法
    3.0,              // 重投影误差阈值（像素）
    cv::noArray(),    // 输出内点掩码
    2000,             // 最大迭代次数
    0.995             // 置信度
);

2.4 实战中的坑与技巧

做图像配准这么多年，我踩过的坑不少。这里分享几个最典型的：

• 特征点分布不均匀：如果特征点集中在图像某个区域，估计出的H只在那个区域准确。我建议把图像分成网格，每个网格内至少保留一个匹配点。
• 运动模糊：手持拍摄时运动模糊会严重降低特征点质量。我的做法是先做去模糊预处理，或者用更鲁棒的描述子（比如A-KAZE）。
• 重复纹理：砖墙、草地这类重复纹理会产生大量误匹配。比率测试在这里效果有限，我一般会结合几何约束（比如极线约束）进一步过滤。