2、多帧融合算法全景图：从输入到输出的完整 Pipeline，关键模块（配准、融合、色调映射）概览
好，咱们进入正题。上一章我们聊了夜景模式的痛点——单帧就是搞不定。那多帧融合到底是怎么把一堆烂片变成一张好片的？
说白了，整个流程就是一个 「输入一堆 RAW 图 → 输出一张好看的 JPEG」 的加工流水线。我习惯把它拆成三个核心工位：配准、融合、色调映射。每个工位都有自己的活儿，缺一不可。
2.1 配准（Registration）——让每一帧对齐
配准是第一步，也是最容易出问题的一步。你想想看，手持拍摄时手会抖，每帧之间都有微小的位移。如果不做配准直接融合，画面边缘全是重影，跟喝了二两似的。
我做过一个项目，用户反馈夜景模式拍出来的月亮有「分身」。查了半天，发现是配准模块对纯色天空区域的运动估计失效了。嗯，这里要注意——配准的难点不在纹理丰富的区域，而在纹理稀疏的区域。
配准的两层策略
| 层级 | 方法 | 作用范围 | 典型算法 |
|---|---|---|---|
| 全局配准 | 仿射变换 / 单应性矩阵 | 整帧图像 | 基于陀螺仪数据 + 特征点匹配 |
| 局部配准 | 光流 / 块匹配 | 局部运动区域 | Lucas-Kanade 光流、PatchMatch |
我个人习惯先做全局配准，把大部分旋转和缩放干掉。然后再用局部配准去处理那些「不听话」的运动物体——比如行人、树叶、车灯。全局配准用仿射变换就够了，别上来就搞透视变换，容易过拟合。
2.2 融合（Fusion）——把好钢用在刀刃上
配准完了，就该融合了。融合的核心思想很简单：每个像素的最终值，是所有帧在该位置的加权平均。但权重怎么给？这才是学问。
你想想看，如果所有帧权重一样，那就是简单的平均降噪。但夜景场景里，有的帧可能过曝了（高光区域），有的帧可能欠曝了（暗部区域）。我们要做的，是让曝光好的帧权重高，曝光差的帧权重低。
融合权重的设计原则
- 亮度权重：像素值越接近中间调，权重越高。避免过曝和欠曝区域污染结果。
- 对比度权重：局部对比度高的区域，说明细节丰富，权重适当提高。
- 运动权重：检测到运动的区域，降低该帧的权重，防止鬼影。
- 噪声权重：根据传感器 ISO 估计噪声水平，噪声大的帧权重低。
我记得第一次调融合权重的时候，把亮度权重设得太高了，结果暗部区域全是噪声——因为暗部本来就没信号，强行拉高权重反而把噪声也放大了。后来我加了一个信噪比估计项，效果才稳定下来。
2.3 色调映射（Tone Mapping）——把大象装进冰箱
融合完成后，我们得到了一张高动态范围的 RAW 图。它的位深可能是 12-bit 甚至 14-bit，动态范围轻松超过 100dB。但最终输出是 8-bit 的 JPEG，只有 256 个灰度级。怎么把大象装进冰箱？这就是色调映射要解决的问题。
色调映射说白了就是动态范围压缩。但压缩不是简单的线性缩放——那样暗部会死黑，亮部会过曝。我们需要做的是局部自适应映射：亮的地方压一压，暗的地方提一提，让细节都保留下来。
常见的色调映射策略
| 策略 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| Gamma 校正 | 非线性幂函数映射 | 简单、计算快 | 无法处理极端动态范围 |
| 对数映射 | log(L) 压缩 | 能保留高动态范围 | 对比度偏低，画面发灰 |
| 自适应直方图均衡 | 局部对比度拉伸 | 细节丰富 | 容易产生光晕伪影 |
| 基于 Retinex 的映射 | 分解照度 + 反射 | 自然、保真度高 | 计算量大 |
我个人在项目中用得最多的是自适应对数映射 + 局部对比度增强的组合。先做全局映射把动态范围压到 10-bit 左右，再用局部增强把细节「拉」出来。这样既保证了整体亮度自然，又不会丢失暗部细节。
2.4 三个模块的协同关系
配准、融合、色调映射不是孤立的。它们之间有一条隐形的「数据链」：
- 配准误差会直接传导到融合阶段——错位 0.5 个像素，融合后的边缘锐度就下降 20%。
- 融合权重会影响色调映射的输入动态范围——权重设计得好，映射压力就小。
- 色调映射的参数需要根据融合后的噪声水平调整——噪声大的图，映射时要避免过度增强。
我曾经踩过一个坑：配准模块换了算法，精度提升了，但融合模块的权重没跟着调，结果画面出现了「网格状」的噪声。后来发现是配准精度提高后，帧间残差变小了，原来的运动检测阈值太敏感，把静止区域也当成了运动区域。嗯，这就是模块之间没对齐的后果。
好了，这一章我们把多帧融合的完整流程过了一遍。配准负责对齐，融合负责降噪和扩展动态范围，色调映射负责把高动态数据压缩到可显示的范围内。三个模块环环相扣，任何一个环节掉链子，最终效果都会大打折扣。