3. 图像配准基础：为什么要对齐？光流法、特征匹配法、块匹配法的简单对比
多帧降噪的核心，说白了就是「把多张照片叠在一起求平均」。但你想想看，手持拍摄夜景时，手会抖，画面会晃。如果直接把两张没对齐的照片叠起来——嗯，结果就是重影、模糊，还不如单张呢。
所以，图像配准（Image Registration） 就是多帧降噪的第一步，也是最重要的一步。它的任务只有一个：找到帧与帧之间的运动偏移量，然后把它们对齐到同一个坐标系下。
核心结论：配准精度直接决定降噪效果。配准误差超过 0.5 像素，降噪增益就会明显下降。误差超过 1 像素，重影就会肉眼可见。
3.1 为什么要对齐？—— 一个简单的数学直觉
假设你有 N 帧带噪声的图像。如果它们完全对齐，叠加后噪声标准差会降低到原来的 1/√N。这是多帧降噪的理论基础。
但如果没对齐呢？
- 静态区域（比如远处的建筑）：没对齐会导致边缘模糊，细节丢失。
- 高对比度边缘（比如路灯杆）：没对齐会产生「鬼影」—— 同一个物体出现在多个位置。
- 纹理区域（比如树叶、砖墙）：没对齐会让纹理变成一团糊。
我在项目中遇到过最典型的案例：用手机拍夜景，手持拍了 6 帧，直接叠加后噪点确实少了，但路灯变成了「一串糖葫芦」。原因就是每帧之间手抖偏移了 2-3 个像素，没做配准。
避坑指南：我曾经以为「小偏移可以忽略」，结果被测试同学怼了回来。后来我养成了一个习惯：只要做多帧降噪，必须先做配准，哪怕偏移只有 0.1 像素。因为 0.1 像素的误差在 6 帧叠加后，边缘锐度损失已经肉眼可见。
3.2 三种主流配准方法对比
配准方法有很多，但在夜景多帧降噪场景下，最常用的就三种：光流法、特征匹配法、块匹配法。我按自己的经验给你拆开讲讲。
| 方法 | 核心思想 | 精度 | 速度 | 适用场景 |
|---|---|---|---|---|
| 光流法 | 基于像素亮度变化，计算每个像素的运动矢量 | 高（亚像素级） | 慢 | 小位移、连续帧、高纹理区域 |
| 特征匹配法 | 提取关键点（SIFT/ORB），匹配特征描述子，估计全局变换 | 中高（取决于特征数量） | 中 | 大位移、旋转、缩放、低纹理场景 |
| 块匹配法 | 将图像分成小块，在搜索窗口内找最相似块 | 中（整数像素级） | 快 | 平移为主、实时性要求高、硬件友好 |
3.3 光流法：精度最高，但最「娇气」
光流法的假设是：同一个像素点在相邻帧之间，亮度保持不变，只是位置发生了移动。基于这个假设，它通过求解亮度约束方程，得到每个像素的运动矢量。
我个人的习惯是：在夜景多帧降噪中，光流法只用于精细配准阶段。先用块匹配或特征匹配做粗配准，再用光流法做亚像素级的微调。
为什么？因为光流法有几个「娇气」的地方：
- 对光照变化敏感：夜景中灯光闪烁、阴影变化，都会破坏亮度恒定假设。
- 对噪声敏感：夜景图像本身噪声大，光流场会变得「毛刺」很多。
- 计算量大：全图稠密光流，在手机上跑一帧可能要几十毫秒。
我的经验：如果你非要用光流法做夜景配准，记得先做一次高斯滤波降噪。我踩过的坑是：直接用原始噪声图算光流，结果光流场比噪声还乱，配准完反而更差了。
3.4 特征匹配法：大位移场景的「救星」
特征匹配法的思路很直观：先找「地标」，再算「地图变换」。
具体来说：
- 在参考帧和待配准帧上提取特征点（比如 SIFT、ORB、AKAZE）。
- 用描述子做匹配，找到对应的点对。
- 用 RANSAC 剔除误匹配，估计单应性矩阵或仿射变换。
特征匹配法的最大优势是：能处理大位移、旋转、甚至视角变化。比如你手持相机拍夜景，不小心转了个角度，光流法和块匹配法基本就废了，但特征匹配法还能救回来。
但它的缺点也很明显：
- 低纹理场景容易「翻车」：夜景中大片天空、墙面，特征点很少，匹配质量很差。
- 计算量集中在特征提取和匹配：SIFT 精度高但慢，ORB 快但精度一般。
我记得有一次做夜景测试，画面里有一大片纯黑天空，ORB 只提取到十几个特征点，RANSAC 后只剩 3 个正确匹配。那结果，嗯，基本就是随机变换了。
3.5 块匹配法：工程界的「万金油」
块匹配法是我在工程中用得最多的方法。它的原理很简单：
- 把图像分成固定大小的块（比如 8×8 或 16×16）。
- 在参考帧的搜索窗口内，用 SAD（差和）或 SSD（平方差和）找最匹配的块。
- 用匹配位置计算偏移量。
块匹配法的优点非常「工程」：
- 速度快：可以用 SIMD 指令加速，在 DSP 或 GPU 上跑得飞快。
- 实现简单：核心代码不到 100 行。
- 对噪声有一定鲁棒性：因为用的是块内像素的统计信息，不是单个像素。
但它的局限也很清楚：
- 只能处理平移：旋转和缩放基本无能为力。
- 精度受限于搜索步长：整数像素搜索，精度只有 1 像素。要做亚像素，还得加插值。
工程建议：在手机夜景多帧降噪中，我推荐用 分层块匹配（Hierarchical Block Matching）。先降采样到低分辨率做粗搜索，再在原分辨率做细搜索。这样既能保证速度，又能覆盖 ±32 像素的大位移。
3.6 三种方法的选择策略
在实际项目中，我不会只用一种方法。我的选择策略是这样的：
- 先判断运动类型：如果是手持微抖（±5 像素以内），直接用块匹配。
- 如果有旋转或大位移：先用特征匹配做全局变换估计，再用块匹配做局部微调。
- 如果场景纹理丰富且需要亚像素精度：块匹配粗配准 + 光流法精细配准。
说白了，没有银弹。每种方法都有自己的「舒适区」，组合使用才是工程正道。
3.7 本章知识结构图
下面这张图总结了三种配准方法的核心差异和选择逻辑：
3.8 小结
图像配准是多帧降噪的「地基」。地基没打好，后面做再多降噪都是白费功夫。
- 光流法：精度最高，但最「娇气」，适合做精细配准。
- 特征匹配法：能处理大位移和旋转，但低纹理场景容易翻车。
- 块匹配法：工程界的「万金油」，速度快、实现简单，但只能处理平移。
我个人最常用的组合是：分层块匹配做粗配准 + 光流法做亚像素微调。这个组合在手机端能跑到 30fps 以上，同时保证 0.3 像素以内的配准精度。