3. 多帧融合原理：曝光策略、帧对齐与运动补偿
多帧融合是高通Camera平台实现高动态范围（HDR）成像的核心技术。其基本原理是：在单次快门触发下，传感器连续捕获多帧不同曝光时间的图像（短帧、中帧、长帧），然后通过ISP（图像信号处理器）将这些帧融合为一幅宽动态范围的输出图像。本章将深入剖析曝光策略、帧对齐与配准技术、运动补偿机制三大核心模块。
核心概念速览： 多帧融合 ≠ 简单叠加。它需要解决“如何拍”（曝光策略）、“如何对齐”（帧配准）、“如何防鬼影”（运动补偿）三个关键问题。
3.1 多帧曝光策略（短帧/中帧/长帧）
曝光策略决定了每帧的曝光时间与增益组合，直接影响融合后的动态范围与信噪比。高通平台通常支持2帧（短+长）或3帧（短+中+长）模式，其中3帧模式在复杂光照场景下表现更优。
3.1.1 帧曝光参数对比
| 帧类型 | 曝光时间（相对值） | 模拟增益 | 主要用途 | 典型场景 |
|---|---|---|---|---|
| 短帧（S） | 1x（基准） | 低（1x~2x） | 保留高光细节，防止过曝 | 太阳、灯源、高反射面 |
| 中帧（M） | 4x~8x | 中（2x~4x） | 平衡中间调细节与噪声 | 建筑物、人脸、中等亮度区域 |
| 长帧（L） | 16x~32x | 高（4x~8x） | 提亮暗部细节，抑制噪声 | 阴影、夜景、低照度区域 |
调试经验： 短帧曝光时间不宜过短（避免信噪比过低），长帧曝光时间不宜过长（避免运动模糊与帧对齐失败）。建议短帧曝光时间 ≥ 1/120s，长帧曝光时间 ≤ 1/30s（手持场景）。
3.1.2 曝光策略选择流程
高通平台通过AEC（自动曝光控制）模块动态决定每帧的曝光参数。以下为3帧模式的典型决策流程：
- 场景亮度评估： 基于当前帧的亮度直方图与目标亮度，计算所需的总曝光量。
- 帧数决策： 若场景动态范围 < 60dB，使用2帧模式；若 ≥ 60dB，切换至3帧模式。
- 曝光比分配： 固定短帧为基准，按预设比例（如1:4:16）分配中帧与长帧的曝光时间。
- 增益微调： 在曝光时间确定后，根据目标亮度微调模拟增益，确保各帧不过曝、不欠曝。
3.2 帧对齐与配准技术
由于多帧图像在时间上存在微小间隔（通常为几毫秒到几十毫秒），手持抖动或物体运动会导致帧间像素偏移。帧对齐（Frame Alignment）的目的是将短、中、长帧映射到同一坐标系下，确保融合时像素级对应。
3.2.1 对齐层级与算法
| 对齐层级 | 算法类型 | 计算量 | 精度 | 适用场景 |
|---|---|---|---|---|
| 全局对齐 | 仿射变换 / 透视变换 | 低 | 亚像素级 | 纯手持抖动（无运动物体） |
| 局部对齐 | 光流法 / 块匹配 | 中 | 像素级 | 有少量运动物体 |
| 混合对齐 | 全局+局部级联 | 高 | 亚像素级+运动边界 | 复杂运动场景（推荐） |
3.2.2 高通平台对齐流程
高通ISP中的帧对齐模块通常按以下步骤执行：
- 步骤1： 以短帧为参考帧（Reference Frame），因其曝光时间最短、运动模糊最小。
- 步骤2： 提取中帧、长帧的Harris角点或SIFT特征点，与参考帧进行特征匹配。
- 步骤3： 使用RANSAC算法剔除误匹配点，计算全局单应性矩阵（Homography）。
- 步骤4： 对中帧、长帧进行双线性插值重采样，生成对齐后的图像。
- 步骤5： 若开启局部对齐，则在全局对齐基础上，对运动区域进行块匹配微调。
3.3 运动补偿机制
即使经过帧对齐，运动物体（如行人、车辆、树叶）仍会在融合后产生“鬼影”（Ghosting Artifact）。运动补偿机制通过检测运动区域并调整融合权重，消除鬼影的同时保留运动物体的自然轮廓。
3.3.1 运动检测与权重分配
高通平台采用基于块的运动检测算法，核心思路如下：
- 运动掩膜生成： 计算对齐后帧与参考帧的绝对差（SAD），通过阈值二值化得到运动掩膜（Motion Mask）。
- 权重图计算： 在运动区域，降低长帧的融合权重（避免长帧模糊或错位），提高短帧权重（保留清晰边缘）。
- 时域滤波： 对运动掩膜进行时域平滑，防止逐帧闪烁。
3.3.2 运动补偿参数配置
| 参数名称 | 高通XML节点 | 典型值范围 | 作用 |
|---|---|---|---|
| 运动检测阈值 | motionThreshold |
8 ~ 32 | 值越小，运动检测越敏感；值越大，鬼影抑制越弱 |
| 运动权重衰减 | motionWeightDecay |
0.3 ~ 0.7 | 运动区域长帧权重的衰减系数 |
| 时域平滑系数 | temporalSmoothFactor |
0.1 ~ 0.5 | 值越大，运动掩膜变化越平滑，但响应变慢 |
| 搜索窗口大小 | searchWindowSize |
16 ~ 64 | 块匹配时的搜索范围，影响对齐精度与计算量 |
常见调试陷阱：
- 运动阈值过低： 导致静态区域被误判为运动，融合后出现纹理丢失或噪声增加。
- 运动阈值过高： 鬼影残留明显，尤其在快速运动物体边缘。
- 时域平滑系数过大： 运动掩膜更新滞后，场景切换时出现短暂鬼影。
3.3.3 运动补偿融合流程
3.4 三模块协同工作流
在实际高通Camera项目中，曝光策略、帧对齐与运动补偿并非独立运行，而是通过ISP Pipeline串联执行：
- AEC模块 根据场景亮度决定帧数与曝光比（短/中/长帧参数）。
- 传感器驱动 按配置输出多帧RAW图像。
- 帧对齐模块 以短帧为参考，对中帧、长帧进行全局+局部对齐。
- 运动检测模块 生成运动掩膜，计算逐像素融合权重。
- 融合引擎 根据权重图将三帧合成为最终HDR图像。
调试优先级建议： 先调曝光策略（确保各帧不过曝/欠曝）→ 再调帧对齐参数（确保静态场景无重影）→ 最后调运动补偿参数（消除鬼影同时保留运动细节）。切勿同时调整多个模块，否则难以定位问题根因。