3. HDR融合原理:多帧HDR、单帧HDR(DOL-HDR)与传感器内HDR的融合策略与算法基础

高动态范围(HDR)融合是ISP链路中解决场景亮度跨度大(如逆光、夜景灯箱)的核心模块。根据传感器曝光方式与帧数,HDR技术分为多帧HDR、单帧DOL-HDR与传感器内HDR三类。本章从融合策略与算法基础出发,解析其原理与调优要点。

核心概念: HDR融合的本质是将不同曝光量的图像(短曝光保留高光细节,长曝光保留暗部细节)通过权重映射与合成,扩展输出图像的动态范围,同时抑制鬼影与噪声。

3.1 多帧HDR融合策略

多帧HDR通过连续拍摄2~3帧不同曝光时间的图像(如短曝光Tshort、中曝光Tmid、长曝光Tlong),在ISP中完成对齐与融合。其核心流程包括:

  1. 运动对齐: 基于光流或块匹配,消除帧间运动导致的鬼影。
  2. 权重计算: 根据像素亮度与曝光质量生成融合权重图。
  3. 多尺度融合: 在拉普拉斯金字塔或小波域进行逐层合成,保留纹理细节。
参数 短曝光帧 中曝光帧 长曝光帧
曝光时间 1/1000 s 1/250 s 1/30 s
主要贡献 高光细节 中间调 暗部细节
噪声水平 低 中 高
权重倾向 高亮区域权重高 中间区域权重高 暗部区域权重高
调优提示: 多帧HDR的鬼影检测阈值是关键调优点。阈值过低会导致运动区域被过度平滑,阈值过高则鬼影残留。建议在运动场景下将运动检测灵敏度调至中等偏上(如0.6~0.8)。
多帧HDR融合流程 短曝光帧 中曝光帧 长曝光帧 运动对齐(光流/块匹配) 权重图生成 HDR输出 关键:多尺度融合 拉普拉斯金字塔 逐层合成防伪影

3.2 单帧DOL-HDR融合策略

DOL-HDR(Digital Overlap HDR)通过传感器在同一帧时间内输出长短两种曝光信号(如长曝光行与短曝光行交错读出),实现单帧HDR。其融合策略无需帧间对齐,但需处理空间错位与行间差异。

  • 空间插值: 对短曝光行与长曝光行进行像素级插值,生成完整的长/短曝光图像。
  • 自适应融合: 基于局部亮度与信噪比(SNR)动态调整融合权重,避免拼接痕迹。
  • 去噪处理: 长曝光行噪声较高,需在融合前进行空域或时域降噪。
常见故障: DOL-HDR在强光边缘容易出现“锯齿状”伪影,原因是长短曝光行之间的响应差异未校准。建议在融合前增加行增益补偿(Line Gain Compensation)模块。
DOL-HDR融合策略 传感器原始数据 (长短曝光行交错) 行分离与插值 生成完整帧 长曝光帧(去噪) 短曝光帧 自适应融合输出

3.3 传感器内HDR融合策略

传感器内HDR(如Sony的DOL-HDR、Samsung的Smart-ISO)在传感器芯片内部完成多曝光信号的合并,输出已融合的RAW数据。ISP仅需进行后处理优化,无需复杂的对齐与权重计算。

特性 多帧HDR DOL-HDR 传感器内HDR
帧数需求 2~3帧 1帧(交错读出) 1帧(内部合并)
运动鬼影 高(需对齐) 中(空间错位) 低(无帧间运动)
ISP负载 高 中 低
动态范围 最高(可达120dB+) 高(100dB+) 中(80~100dB)
典型场景 夜景、逆光拍照 视频HDR 实时预览、低功耗
算法基础: 传感器内HDR的融合算法通常基于线性映射或分段线性映射。例如,将短曝光信号乘以增益系数G(G = Tlong / Tshort)后与长曝光信号合并,再通过非线性曲线(如S曲线)压缩至标准动态范围。
传感器内HDR融合架构 传感器像素阵列 (双增益/双曝光) 传感器内合并 (增益补偿+线性融合) ISP后处理 (去噪/色调映射) 传感器内HDR优势:低延迟、无鬼影、低功耗 典型实现:Sony IMX系列DOL-HDR、Samsung ISOCELL Smart-ISO 调优重点:增益补偿系数、色调映射曲线

3.4 融合算法基础:权重映射与色调映射

无论采用哪种HDR策略,融合算法都依赖两个核心模块:权重映射与色调映射。

3.4.1 权重映射函数

典型权重函数基于像素亮度值I,使用高斯型或三角型权重曲线:

// 高斯权重映射示例
float weight(float I, float mu, float sigma) {
    return exp(-0.5 * pow((I - mu) / sigma, 2));
}
// 多帧融合时,短曝光帧权重偏向高亮区域
float w_short = weight(I, 0.8, 0.2);
float w_long  = weight(I, 0.2, 0.2);
float w_mid   = weight(I, 0.5, 0.3);
// 归一化
float sum = w_short + w_mid + w_long;
w_short /= sum; w_mid /= sum; w_long /= sum;

3.4.2 色调映射曲线

融合后的线性HDR图像需通过色调映射(Tone Mapping)压缩至显示设备支持的动态范围(如8-bit或10-bit)。常用曲线包括:

  • Reinhard全局算子: Lout = Lin / (1 + Lin)
  • 分段线性映射: 对不同亮度区间使用不同斜率,保留局部对比度。
  • 自适应对数映射: 基于场景平均亮度动态调整映射参数。
调优建议: 色调映射曲线的“膝盖点”(Knee Point)是影响HDR自然度的关键参数。膝盖点过低会导致高光过曝,过高则暗部提亮不足。建议在典型逆光场景下,将膝盖点设置在亮度直方图的80%~90%分位处。
色调映射曲线对比 输入亮度(线性HDR) 输出亮度 Reinhard 分段线性 自适应对数 膝盖点:80%~90%分位

3.5 融合策略选择指南

在实际ISP调优中,选择哪种HDR策略需综合考虑场景需求、硬件能力与功耗约束:

  • 拍照模式: 优先多帧HDR,追求最高动态范围与画质,可容忍一定延迟。
  • 视频模式: 推荐DOL-HDR或传感器内HDR,保证帧率稳定与低鬼影。
  • 实时预览: 传感器内HDR最佳,低功耗、低延迟,满足取景流畅性。
  • 低光环境: 多帧HDR的长曝光帧可叠加降噪,但需注意运动模糊。
故障排查要点: 若HDR融合后出现“光晕”或“伪轮廓”,首先检查权重映射的平滑度,其次检查色调映射曲线的连续性。建议在融合前后增加3x3高斯滤波,抑制高频噪声放大。