2、多帧降噪的基石：图像配准：特征点提取（SIFT/ORB）、光流法、块匹配算法，以及亚像素精度对齐的重要性

多帧降噪，说白了就是把多张拍糊了的照片，对齐成一张清晰的。你想想看，手持拍摄夜景，手再稳也会抖。这抖动的几像素，就是噪点滋生的温床。

所以，图像配准就是整个多帧降噪的基石。配准做不好，后面的降噪全是白搭。我见过不少项目，降噪算法调得天花乱坠，结果配准一塌糊涂，最终效果还不如单帧。嗯，这里要注意，配准的精度直接决定了最终画质的上限。

2.1 特征点提取：SIFT 与 ORB

特征点提取，就是给图像找“地标”。这些地标要足够独特，不管图像怎么旋转、缩放、变亮变暗，都能被认出来。

SIFT（尺度不变特征变换）

SIFT 是经典中的经典。它提取的特征点，对旋转、尺度、光照变化都极其鲁棒。我个人习惯在需要高精度配准的场景下，优先考虑 SIFT。

• 尺度空间极值检测：在不同尺度下寻找潜在的关键点。
• 关键点定位：剔除低对比度和边缘上的不稳定点。
• 方向分配：为每个关键点赋予主方向，实现旋转不变性。
• 特征描述：生成 128 维的特征向量，用于后续匹配。

ORB（定向 FAST 和旋转 BRIEF）

ORB 是 SIFT 的“轻量级替代品”。它结合了 FAST 角点检测和 BRIEF 描述子，速度比 SIFT 快两个数量级。我在做手机端实时夜景算法时，ORB 是首选。

• FAST 角点检测：快速找到像素变化剧烈的点。
• 方向计算：通过灰度质心法为角点赋予方向。
• rBRIEF 描述子：旋转感知的二进制描述子，匹配速度极快。

算法	鲁棒性	速度	适用场景
SIFT	极高	慢	专业相机、离线处理
ORB	中等	快	手机实时、轻度抖动

2.2 光流法

光流法不找“点”，它找“运动”。它假设图像中每个像素的亮度在短时间内不变，然后通过求解光流方程，计算出每个像素的运动矢量。

我常用的光流法是 Lucas-Kanade 算法。它假设一个局部窗口内的像素运动一致，通过最小二乘法求解。在夜景多帧中，光流法特别适合处理连续帧之间的微小运动。

2.3 块匹配算法

块匹配是最直观的配准方法。把图像分成一个个小块，然后在参考帧中搜索最相似的块。搜索策略有全搜索、三步搜索、菱形搜索等。

• 全搜索：精度最高，但计算量爆炸。
• 三步搜索：从大步长开始，逐步缩小搜索范围，速度较快。
• 菱形搜索：用菱形模板搜索，在运动较小的场景下效率很高。

块匹配的优点是实现简单，适合硬件加速。但缺点也很明显：对旋转和缩放不鲁棒，而且块效应明显。我一般只在预处理阶段用块匹配做粗对齐，然后再用光流或特征点做精对齐。

2.4 亚像素精度对齐的重要性

为什么需要亚像素精度？因为真实世界的运动是连续的，而像素是离散的。如果只做整像素对齐，误差会达到 0.5 像素。在多帧降噪中，这种误差会直接导致高频细节的丢失。

你想想看，10 张 1200 万像素的照片，每张都有 0.5 像素的配准误差。叠加起来，细节早就糊成一团了。亚像素精度对齐，就是把误差控制在 0.1 像素甚至 0.01 像素级别。

我个人习惯用相位相关法做粗估计，再用梯度法做精调。这样既保证了精度，又控制了计算量。

2.5 知识体系总览

下面这张图，把本章的核心逻辑串起来了。从输入的多帧图像，到特征点提取、光流法、块匹配，再到亚像素精度对齐，最终输出对齐后的图像序列。

2.6 工程实践建议

在实际项目中，我建议按以下步骤来：

1. 先评估运动类型：是全局平移、旋转，还是局部运动？这决定了选哪种配准方法。
2. 粗对齐 + 精对齐：先用块匹配或 ORB 做粗对齐，再用光流法或亚像素插值做精对齐。
3. 质量评估：用特征点匹配的均方根误差（RMSE）来评估配准质量。如果 RMSE 超过 0.5 像素，就要考虑调整参数或换方法。
4. 边缘处理：配准后图像边缘会有黑边，记得做裁剪或填充。