高通Camera项目实战HDR多帧融合与场景自适应调优 - 第4节

4.1 多帧对齐（ME/MC）原理与高通实现

多帧融合的第一步是确保参与融合的帧在像素级对齐。手持或轻微抖动场景下，连续拍摄的短曝光帧之间存在亚像素至数像素的位移。运动估计（Motion Estimation, ME）与运动补偿（Motion Compensation, MC）模块负责计算帧间运动矢量，并将参考帧 warp 到目标帧坐标系。

4.1.1 运动估计核心方法

4.1.2 运动补偿（Warping）实现

运动补偿根据估计的运动矢量场，将参考帧像素重新映射到目标帧坐标。高通平台通过 MDP（Mobile Display Processor） 的硬件 warp 引擎或 HVX（Hexagon Vector eXtensions） 向量指令实现双线性/双三次插值。

// 伪代码：基于运动矢量的像素级 warp
for each pixel (x, y) in target_frame:
    mv = motion_field[y][x]          // 运动矢量 (dx, dy)
    src_x = x + mv.dx
    src_y = y + mv.dy
    // 双线性插值
    pixel_value = bilinear_interpolate(ref_frame, src_x, src_y)
    warped_frame[y][x] = pixel_value

4.2 加权融合算法与高通实现

对齐后的多帧图像通过加权融合合成最终 HDR 图像。加权融合的核心是 权重图生成 与 归一化叠加。每帧的权重由曝光质量、运动置信度、梯度强度等因素决定。

4.2.1 权重图生成策略

• 曝光权重： 基于像素亮度值，中间曝光区域权重最高，过曝/欠曝区域权重降低。常用高斯型权重函数：w_exp = exp(-(I - 0.5)^2 / (2σ^2))
• 运动权重： 基于运动矢量幅值，运动大的区域权重降低，避免鬼影。运动权重图通常由 ME 模块输出的运动置信度映射生成。
• 梯度权重： 基于图像梯度幅值，纹理丰富区域权重提高，保留细节。梯度权重图通过 Sobel 算子计算。
• 饱和度权重： 基于颜色饱和度，色彩鲜艳区域权重提高，避免颜色失真。

4.2.2 加权融合公式与实现

// 加权融合伪代码
float total_weight = 0.0;
float3 fused_pixel = {0, 0, 0};

for each frame i in aligned_frames:
    // 计算综合权重
    w_i = w_exp[i] * w_motion[i] * w_gradient[i] * w_saturation[i];
    // 累加加权像素
    fused_pixel += w_i * frame_i(x, y);
    total_weight += w_i;

// 归一化
fused_pixel /= total_weight;

4.3 金字塔融合算法与高通实现

金字塔融合（Laplacian Pyramid Fusion）通过多尺度分解，在不同频带分别融合，避免加权融合中常见的细节模糊和光晕伪影。高通平台利用 ISP 的 多尺度处理单元（MSP） 和 HVX 实现高效金字塔构建与融合。

4.3.1 拉普拉斯金字塔构建

1. 高斯金字塔： 对图像逐层高斯滤波 + 下采样，得到 G0, G1, G2, ...
2. 拉普拉斯金字塔： 每层 = 当前高斯层 - 上采样(下一高斯层)，得到 L0, L1, L2, ...
3. 融合规则： 每层拉普拉斯图像按权重图融合，高频层保留细节，低频层保留色调。
4. 重建： 从最高层开始，逐层上采样 + 叠加融合后的拉普拉斯层，得到最终图像。

// 拉普拉斯金字塔融合伪代码
// 构建金字塔
for level = 0 to max_level:
    gauss_pyr[level] = gaussian_downsample(image, level)
    laplace_pyr[level] = gauss_pyr[level] - gaussian_upsample(gauss_pyr[level+1])

// 每层融合
for level = 0 to max_level:
    fused_laplace[level] = weight_map[level] * laplace_pyr_ref[level] 
                         + (1 - weight_map[level]) * laplace_pyr_target[level]

// 重建
result = fused_laplace[max_level]
for level = max_level-1 down to 0:
    result = gaussian_upsample(result) + fused_laplace[level]

4.3.2 高通平台优化要点

4.4 高通平台融合算法选型对比