多帧 HDR 基本原理：短曝光、中曝光、长曝光帧的合成原理与帧对齐的必要性
多帧 HDR（High Dynamic Range）成像的核心思想是：用多张不同曝光时间的图像，分别捕获场景中不同亮度区间的细节，再通过合成算法将它们融合成一张高动态范围图像。本章将深入解析短、中、长曝光帧的合成原理，以及帧对齐为何是 HDR Merge 成败的关键前提。
2.1 曝光时间与动态范围覆盖
在单次拍摄中，传感器的动态范围（DR）是固定的。当场景亮度跨度超过传感器 DR 时，单帧图像必然出现高光过曝或暗部欠曝。多帧 HDR 通过设置不同的曝光时间，让每一帧“负责”不同的亮度区间：
| 曝光类型 | 曝光时间（相对值） | 负责亮度区间 | 典型场景 |
|---|---|---|---|
| 短曝光帧（S） | 1×（基准） | 高亮区域（天空、灯源、反光面） | 避免高光过曝，保留纹理细节 |
| 中曝光帧（M） | 4× ~ 8× | 中间调区域（主体、建筑、地面） | 提供主要视觉信息，信噪比最优 |
| 长曝光帧（L） | 16× ~ 64× | 暗部区域（阴影、夜景、室内角落） | 提升暗部信噪比，恢复细节 |
曝光比选择原则： 曝光时间比值通常按 2 的幂次递增（如 1:4:16），这样在合成时可以通过线性缩放将各帧映射到同一亮度空间，简化权重计算。实际 ISP 中，曝光比会根据场景动态范围自适应调整。
2.2 三帧合成原理：从线性映射到权重融合
多帧 HDR 合成并非简单地将三帧图像叠加，而是经过以下三个核心步骤：
- 线性化与归一化： 将各帧的像素值除以对应的曝光时间，使所有帧映射到相同的亮度基准（单位曝光时间下的亮度值）。
- 权重图生成： 根据每个像素的亮度值，计算其在合成中的贡献权重。短曝光帧的高亮区域权重高，长曝光帧的暗部区域权重高，中间调区域由中曝光帧主导。
- 加权融合： 对每个像素位置，将三帧的归一化亮度值按权重加权平均，得到最终的 HDR 亮度值。
权重函数典型设计： 常用高斯型或三角型权重曲线。例如，对于 12-bit RAW 数据，短曝光帧的权重在像素值 0~512 区间线性上升，512~1024 区间保持高权重，1024~4095 区间快速下降；长曝光帧的权重则相反。中曝光帧在中间调区域（512~2048）保持高权重。
2.3 帧对齐的必要性：运动伪影的根源
多帧 HDR 拍摄时，三帧之间存在时间差（通常为几十到几百毫秒）。在这段时间内，场景中的物体运动或相机抖动会导致同一物体在三帧中的位置发生偏移。如果不进行帧对齐，直接合成将产生严重的运动伪影：
- 重影（Ghosting）： 运动物体在合成结果中出现半透明拖影，仿佛物体的“鬼影”。
- 边缘模糊： 静止背景与运动物体交界处出现模糊带，降低图像锐度。
- 亮度异常： 运动区域在不同帧中对应不同的亮度区间，权重融合后出现局部过曝或欠曝。
典型失败案例： 拍摄行人走动的夜景场景时，短曝光帧中行人清晰但暗部欠曝，长曝光帧中暗部细节丰富但行人因运动而模糊。若不进行帧对齐，合成结果中行人区域会出现“半透明重影”，且边缘带有绿色或紫色色边（因 Bayer 域对齐误差导致）。
2.4 帧对齐的核心挑战
帧对齐并非简单的全局平移，而是需要处理复杂的运动模型：
| 运动类型 | 对齐难度 | 典型处理方法 |
|---|---|---|
| 全局平移（相机抖动） | 低 | 全局仿射变换（2D 平移 + 旋转） |
| 局部刚体运动（行人、车辆） | 中 | 光流法 + 局部运动补偿 |
| 非刚体运动（树叶、水面、旗帜） | 高 | 基于网格的运动模型 + 运动掩膜 |
| 曝光差异导致的亮度变化 | 中 | 归一化互相关（NCC）或梯度域对齐 |
2.5 帧对齐在 ISP Pipeline 中的位置
在典型的 ISP 处理流程中，帧对齐位于 RAW 域预处理之后、HDR 融合之前。具体顺序如下：
- RAW 域预处理： 黑电平校正、线性化、去噪（可选）。
- 帧对齐： 以中曝光帧为参考帧，对短曝光帧和长曝光帧进行运动补偿。
- HDR 融合： 对齐后的三帧进入权重计算与融合模块。
- 后续处理： 色调映射、色彩校正、锐化等。
工程实践要点： 帧对齐通常在 RAW 域进行，因为 RAW 数据保留了最完整的传感器信息，且未经过 Bayer 插值，避免了插值引入的误差。对齐精度要求达到 1/4 像素甚至 1/8 像素，否则在高频纹理区域（如树叶、栅栏）会出现明显的对齐伪影。
2.6 本章小结
- 多帧 HDR 通过短、中、长三帧分别捕获高亮、中间调、暗部细节，利用权重融合扩展动态范围。
- 合成流程包括线性化归一化、权重图生成、加权平均三个关键步骤。
- 帧对齐是 HDR Merge 的前提条件，未对齐的合成会产生重影、模糊和亮度异常。
- 对齐难度取决于运动类型，从全局平移（低难度）到非刚体运动（高难度），需要不同的运动模型和算法。
- 在 ISP Pipeline 中，帧对齐位于 RAW 域预处理之后、HDR 融合之前，对齐精度直接影响最终图像质量。