3. 多曝光HDR融合原理：短/中/长曝光帧的获取、曝光时间与增益设置、帧对齐基础

多曝光HDR融合是ISP（图像信号处理器）流水线中提升动态范围的核心技术。其基本原理是：对同一场景，以不同的曝光参数（曝光时间、模拟/数字增益）连续采集多帧图像，然后通过融合算法将各帧的“最佳曝光区域”合成到一张高动态范围图像中。本章将深入剖析短/中/长曝光帧的获取策略、曝光时间与增益的协同设置，以及帧对齐（全局/局部运动补偿）的基础原理。

3.1 短/中/长曝光帧的获取策略

在典型的3帧HDR融合方案中，传感器以“短曝光 → 中曝光 → 长曝光”的顺序连续输出三帧原始RAW数据。各帧的曝光参数独立配置，目标是对场景中不同亮度区域进行“分档捕获”。

3.2 曝光时间与增益设置：EV分档与信噪比平衡

曝光时间（T）和增益（G）共同决定了每帧的曝光量（EV）。在HDR融合中，三帧之间的曝光量通常以固定的EV步长（如2 EV、3 EV）进行分档，以确保融合后各亮度区域平滑过渡。

曝光量计算公式：

EV = log2( (T * G) / (T_ref * G_ref) )

其中，T_ref 和 G_ref 为参考曝光参数（通常为中曝光帧）。

增益设置原则：

• 短曝光帧： 优先使用短曝光时间，增益尽量低（≤ 6 dB），避免高光区域因增益引入的噪声被放大。
• 中曝光帧： 曝光时间与增益折中，保证主体区域信噪比（SNR）在30 dB以上。
• 长曝光帧： 曝光时间优先，增益作为补充。增益超过18 dB时，需配合时域降噪（TNR）或空域降噪（SNR）预处理。

3.3 帧对齐基础：全局运动补偿与局部运动补偿

由于三帧图像在时间上非同步采集，相机抖动或场景中物体运动会导致帧间像素偏移。若不进行对齐，融合后会出现重影（Ghosting）和模糊。帧对齐分为两个层级：全局运动补偿（GMC） 和 局部运动补偿（LMC）。

3.3.1 全局运动补偿（GMC）

GMC用于补偿由相机抖动、平移、旋转引起的整体图像偏移。通常基于特征点匹配（如SIFT、ORB）或相位相关法估计全局单应性矩阵（Homography）或仿射变换矩阵。

// 伪代码：全局运动估计与补偿
Matrix H = estimateHomography(frame_ref, frame_cur);  // 计算单应性矩阵
frame_aligned = warpPerspective(frame_cur, H);        // 对当前帧进行透视变换

3.3.2 局部运动补偿（LMC）

LMC在GMC基础上，对图像进行分块（Block-based）或像素级（Pixel-based）的运动矢量估计。常用方法包括：

• 块匹配（Block Matching）： 将图像划分为N×N块（如16×16），在参考帧的搜索窗口内寻找最佳匹配块，计算运动矢量（MV）。
• 光流法（Optical Flow）： 基于亮度恒定假设，计算每个像素的运动矢量，精度更高但计算量大。
• 深度学习法： 使用轻量级CNN（如PWC-Net、RAFT）估计稠密光流，适合移动端NPU加速。

局部运动补偿流程：

1. 对GMC对齐后的帧进行分块（如64×64宏块）。
2. 对每个块，在参考帧的搜索范围（如±32像素）内进行块匹配，计算SAD（绝对差和）或SSD（平方差和）。
3. 选择SAD最小的块位置作为匹配块，得到运动矢量（MVx, MVy）。
4. 根据MV对当前块进行像素级平移补偿。
5. 对运动矢量场进行中值滤波或双边滤波，去除异常矢量。

3.4 帧对齐架构图：从原始帧到对齐输出

下图展示了多曝光HDR融合中帧对齐的完整软件架构，包含全局运动补偿与局部运动补偿两个核心模块。

3.5 帧对齐质量评估指标

在ISP调优工程中，帧对齐效果直接影响融合质量。以下是常用的客观评估指标：

3.6 本章小结