3、多帧合成原理：多帧曝光策略、短帧/中帧/长帧、帧对齐与融合、运动补偿机制
多帧合成（Multi-Frame Synthesis）是RK平台ISP流水线中实现高动态范围（HDR）成像的核心技术。其基本原理是：在单次快门触发下，传感器连续采集多帧不同曝光时间的图像，经过ISP的帧对齐、运动补偿与融合处理，最终输出一张暗部细节丰富、亮部不过曝的高动态范围图像。本章将深入剖析多帧合成的四大关键环节：曝光策略、帧类型定义、对齐融合算法以及运动补偿机制。
核心要点：多帧合成的成败取决于“曝光策略的合理性”与“运动补偿的鲁棒性”。在RK3588/RK3576等平台中，ISP硬件加速单元（如HDR Merge Engine）对这两项参数极为敏感。
3.1 多帧曝光策略
曝光策略决定了如何分配短、中、长帧的曝光时间与增益，直接影响最终HDR图像的动态范围与信噪比。常见的策略包括对称式、非对称式以及自适应式。
| 策略类型 | 曝光时间比例（短:中:长） | 适用场景 | 动态范围增益 |
|---|---|---|---|
| 对称式 | 1:4:16 或 1:8:64 | 光照均匀、静态场景 | 中（约12-14档） |
| 非对称式 | 1:2:8 或 1:3:9 | 室内外过渡、逆光人像 | 较高（约14-16档） |
| 自适应式 | 根据AE统计动态调整 | 复杂光照、运动场景 | 最高（约16-20档） |
RK平台调试建议：在RKISP3.x中，建议优先使用非对称式策略（如1:2:8），因为其线性度更好，有利于后续的帧对齐与融合权重计算。对称式策略虽然简单，但在高对比度场景下容易导致中帧过曝或短帧欠曝。
3.2 短帧 / 中帧 / 长帧
三帧合成是RK平台最常用的多帧HDR模式。每帧的角色与处理目标如下：
- 短帧（Short Frame）：曝光时间最短（通常1/1000s ~ 1/200s），增益最低。用于保留高亮区域（如天空、灯光）的细节，防止过曝。在ISP中，短帧的权重在高亮区域最高。
- 中帧（Middle Frame）：曝光时间适中（通常1/200s ~ 1/30s），增益中等。负责主体区域的正常曝光，是融合的基础帧。中帧的信噪比通常最优。
- 长帧（Long Frame）：曝光时间最长（通常1/30s ~ 1/4s），增益最高。用于提亮暗部区域（如阴影、背光面），但容易引入运动模糊。长帧的权重在暗部区域最高。
常见陷阱：长帧曝光时间过长（超过1/4s）会导致手持拍摄时出现不可补偿的运动模糊。在RK平台中，建议将长帧曝光时间限制在1/8s以内，并配合OIS（光学防抖）使用。
3.3 帧对齐与融合
帧对齐（Frame Alignment）是多帧合成的关键预处理步骤。由于手持抖动或场景运动，三帧图像在像素级上存在偏移，必须通过运动估计（Motion Estimation）进行校正。RK平台的ISP硬件通常采用以下对齐方式：
| 对齐方法 | 精度 | 计算开销 | 适用场景 |
|---|---|---|---|
| 全局平移对齐 | 1/4像素 | 低 | 静态场景、三脚架拍摄 |
| 局部仿射对齐 | 1/2像素 | 中 | 手持拍摄、轻微运动 |
| 光流法对齐 | 亚像素 | 高 | 复杂运动、多物体场景 |
融合（Fusion）阶段，ISP根据每帧的曝光质量、对齐置信度以及局部对比度，动态计算融合权重。RK平台的HDR Merge Engine支持以下融合模式：
- 线性融合：权重基于曝光时间线性分配，简单但容易产生鬼影。
- 自适应融合：权重基于局部梯度与运动检测结果动态调整，是推荐模式。
- 深度学习融合：RK3588 NPU可加速的AI融合模式，适用于极端场景。
RK平台参数示例：在
rkisp3_hdr.xml 配置文件中，hdr_merge_mode 参数控制融合模式（0=线性，1=自适应，2=AI）。建议在调试初期设置为1，待基础效果稳定后再尝试AI模式。
3.4 运动补偿机制
运动补偿（Motion Compensation, MC）是多帧合成中最具挑战性的环节。其目标是检测并修正帧间运动，同时避免引入鬼影（Ghosting）或模糊。RK平台的运动补偿机制包含以下核心步骤：
- 运动矢量检测：基于块匹配（Block Matching）或光流法，计算每个宏块（通常16x16像素）的运动矢量。
- 运动矢量滤波：通过中值滤波或双边滤波，去除异常运动矢量，保留全局运动趋势。
- 运动补偿变换：根据滤波后的运动矢量，对长帧和短帧进行仿射变换或透视变换，使其与中帧对齐。
- 运动置信度图生成：计算每个像素的对齐残差，生成置信度图（Confidence Map），用于指导融合权重。
- 自适应权重调整：在运动区域（低置信度），降低长帧和短帧的权重，优先使用中帧信息，避免鬼影。
调试技巧：在RK平台中，
motion_compensation_strength 参数控制运动补偿的强度（0~255）。对于快速运动场景（如行人、车辆），建议设置为200以上；对于静态场景，可降低至50以减少计算开销。
3.5 多帧合成参数配置清单
在RK平台的实际调试中，以下参数直接影响多帧合成的最终效果。建议按照清单逐一验证：
| 参数名称 | 配置文件位置 | 推荐初始值 | 调试优先级 |
|---|---|---|---|
exposure_ratio |
rkisp3_hdr.xml | 1:2:8 | 高 |
hdr_merge_mode |
rkisp3_hdr.xml | 1（自适应） | 高 |
motion_compensation_strength |
rkisp3_hdr.xml | 150 | 中 |
confidence_threshold |
rkisp3_hdr.xml | 0.7 | 中 |
block_match_size |
rkisp3_hdr.xml | 16 | 低 |
search_range |
rkisp3_hdr.xml | 32 | 低 |
调试警告：切勿在未验证运动补偿效果的情况下直接启用AI融合模式。AI模式虽然效果优秀，但对训练数据依赖性强，在非典型场景（如夜景、极暗光）下可能产生不可预测的伪影。建议先使用自适应模式完成基础调试，再逐步尝试AI模式。