高通Camera项目实战HDR多帧融合与场景自适应调优 - 第2节
2.1 HDR 成像原理：为什么需要多帧融合？
自然场景的动态范围（最亮区域与最暗区域的亮度比值）通常超过 100dB，而主流手机 CMOS 图像传感器（CIS）的单帧原生动态范围仅约 60–70dB。直接单帧拍摄必然导致高光过曝（饱和溢出）或暗部欠曝（信噪比不足）。HDR（High Dynamic Range）多帧融合通过采集不同曝光量的帧，将各帧的最佳信息合成到一张图像中，从而扩展系统动态范围。
核心矛盾： 单帧曝光无法同时保留高光细节与暗部纹理。长曝光捕获暗部，但高光饱和；短曝光保留高光，但暗部噪声严重。HDR 多帧融合正是为了解决这一矛盾而设计。
2.1.1 短、中、长曝光帧的角色
| 曝光类型 | 曝光时间（典型值） | 主要贡献区域 | 风险与挑战 |
|---|---|---|---|
| 短曝光（S） | 1/120 s – 1/1000 s | 高光区域（天空、灯源、反光面） | 暗部信噪比极低，噪声明显 |
| 中曝光（M） | 1/30 s – 1/60 s | 中间调区域（人脸、建筑主体） | 高光可能轻微饱和，暗部噪声可接受 |
| 长曝光（L） | 1/4 s – 1/15 s | 暗部区域（阴影、夜景、室内角落） | 运动模糊风险高，高光完全饱和 |
三帧的曝光时间通常按 4×–16× 的步进比排列。例如：S = 1/240 s，M = 1/60 s，L = 1/15 s（步进比 4×）。步进比越大，动态范围扩展越多，但融合鬼影和噪声放大风险也越高。
2.2 多帧合成基本流程
HDR 多帧合成在 ISP（图像信号处理器）或后处理管线中完成，典型流程包含以下 5 个关键步骤：
- 帧采集与对齐： 短、中、长三帧依次曝光，通过全局运动估计（ME）或局部块匹配消除帧间偏移（手持抖动、物体运动）。
- 权重图生成： 对每帧每个像素计算融合权重。通常使用“钟形曲线”权重函数：像素值接近中间灰（如 128/1023）时权重最高，接近饱和或全黑时权重趋近于 0。
- 多帧融合： 按权重图对三帧进行逐像素加权平均。公式为：
I_final = (W_s * I_s + W_m * I_m + W_l * I_l) / (W_s + W_m + W_l)。 - 色调映射（Tone Mapping）： 将融合后的高动态范围线性数据压缩到 8-bit/10-bit 输出色域，同时保持视觉对比度。常用算法包括 Reinhard、Durand 或高通自研的局部自适应映射。
- 后处理增强： 去噪、锐化、色彩校正，补偿融合过程中引入的噪声或细节损失。
工程提示： 在高通平台（如 SM8550/SM8650）上，帧对齐和融合通常由 ISP 硬件管线（IFE + DSP）完成，无需占用 CPU。权重图生成和色调映射可在 GPU 或 NPU 上加速，实现 30fps 实时 HDR 输出。
2.3 曝光时间与增益的权衡
HDR 多帧的曝光参数设计本质是在 动态范围扩展、信噪比（SNR） 和 运动鲁棒性 之间寻找最优平衡。曝光时间（T）和模拟增益（Gain）是两个核心控制变量。
2.3.1 曝光时间 vs. 增益：噪声模型
传感器输出信号的总噪声可近似为：
N_total = sqrt(N_read^2 + N_shot^2)
N_shot = sqrt(Signal) // 散粒噪声，与信号强度平方根成正比
N_read = Gain * N_read_base // 读出噪声，随增益线性放大增加曝光时间直接提升信号强度（Signal ∝ T），从而提升 SNR（信噪比），但会引入运动模糊。增加增益虽然能提升亮度，但会同时放大读出噪声和量化噪声，导致 SNR 下降。因此，优先增加曝光时间，仅在曝光时间受限（如防抖、帧率约束）时才提升增益。
| 策略 | 对动态范围的影响 | 对 SNR 的影响 | 对运动模糊的影响 | 典型应用场景 |
|---|---|---|---|---|
| 优先增加曝光时间 | 扩展暗部动态范围 | 显著提升（散粒噪声主导） | 模糊风险增加 | 夜景、三脚架、静止场景 |
| 优先增加增益 | 无扩展（仅提亮） | 下降（读出噪声放大） | 无影响 | 运动场景、手持抓拍 |
| 混合策略（T + Gain） | 中等扩展 | 中等 | 可控 | 日常 HDR 快照 |
2.3.2 高通平台曝光策略：AEC 与 HDR 协同
高通 Camera 子系统中的自动曝光控制（AEC）模块负责为 HDR 三帧分配曝光参数。典型策略如下：
- 基准帧（中曝光）： AEC 先计算场景平均亮度，确定中曝光帧的目标亮度（通常为 18% 灰）。曝光时间 T_m 和增益 G_m 由 AE 统计决定。
- 短曝光帧： T_s = T_m / K，G_s = G_m（或更低）。K 为步进比，通常 4–16。短曝光帧使用与中帧相同的增益，避免高光区域增益噪声。
- 长曝光帧： T_l = T_m * K，G_l = G_m（或略低）。长曝光帧增益不宜过高，否则暗部噪声会被过度放大。
避坑指南： 长曝光帧的增益不要超过中帧的 2×。如果长帧增益过高，暗部读出噪声会被放大到与信号相当，融合后暗部出现“彩色噪声斑块”，后期去噪也难以完全消除。高通平台建议长帧增益 ≤ 1.5× 中帧增益。
2.3.3 实战参数配置示例
以下是一个典型室内 HDR 场景（照度 100 lux）的曝光参数配置：
// 高通 AEC 输出参数结构（伪代码）
hdr_exposure_params_t params;
// 中曝光帧（基准）
params.mid.exposure_time_us = 16666; // 1/60 s
params.mid.analog_gain = 2.0; // 线性增益
// 短曝光帧（步进比 8×）
params.short.exposure_time_us = 2083; // 1/480 s
params.short.analog_gain = 2.0; // 与中帧相同
// 长曝光帧（步进比 8×）
params.long.exposure_time_us = 133333; // 1/7.5 s
params.long.analog_gain = 2.5; // 略高于中帧，但不超过 1.5× 限制
// 帧间隔控制（防止长帧拖尾）
params.frame_skip = 1; // 长帧后插入一帧空白，给传感器复位时间
关键指标： 上述配置的理论动态范围扩展为 log2(8) ≈ 3 EV（曝光域）+ 0.3 EV（增益域）≈ 3.3 EV。加上传感器原生 66 dB，最终系统动态范围可达 66 + 20*log10(8) ≈ 84 dB。
2.4 本章小结
- HDR 多帧融合通过短、中、长三帧分别捕获高光、中间调、暗部信息，扩展系统动态范围。
- 多帧合成流程包括帧对齐、权重图生成、加权融合、色调映射和后处理增强，高通平台依赖 ISP 硬件加速。
- 曝光时间优先于增益：增加曝光时间提升 SNR 且不放大噪声，增加增益会降低 SNR，仅在时间受限时使用。
- 实际工程中，步进比（4×–16×）和长帧增益限制（≤1.5× 中帧）是保证融合质量的关键约束。