1. ISP Pipeline 概述:HDR 与 LSC 在整体流程中的位置与作用

图像信号处理器(ISP)是摄像头成像系统的核心计算单元,负责将 RAW 域传感器数据转换为符合人眼视觉感知的 YUV/RGB 图像。一个完整的 ISP Pipeline 通常包含数十个处理模块,按数据流顺序串联或部分并联。理解 Pipeline 的整体结构,是进行 HDR 融合与 LSC 校正调优工程移植的前提。

1.1 ISP 标准处理流程

典型的 ISP Pipeline 从传感器输出 RAW 数据开始,依次经过以下主要阶段:

关键概念: ISP 处理通常分为“前端(Sensor Front-End)”与“后端(Image Back-End)”两大部分。前端负责传感器原始数据的预处理与统计,后端负责色彩重建与视觉增强。
  1. 黑电平校正(BLC): 消除传感器暗电流引起的固定偏移。
  2. 镜头阴影校正(LSC): 补偿镜头光学系统导致的边缘亮度衰减(即“暗角”)。
  3. 坏点校正(DPC): 检测并替换传感器阵列中的缺陷像素。
  4. 去噪(NR): 降低传感器读出噪声与光子散粒噪声。
  5. AWB / AE / AF 统计: 自动白平衡、自动曝光、自动对焦的统计信息采集。
  6. HDR 融合(HDR Merge): 将多帧不同曝光量的图像合成为高动态范围图像。
  7. 去马赛克(Demosaic): 从 Bayer 模式插值出完整的 RGB 图像。
  8. 色彩校正矩阵(CCM): 将传感器 RGB 转换到标准色彩空间。
  9. Gamma 校正 / 色调映射(Tone Mapping): 调整亮度曲线,适配显示设备。
  10. 边缘增强(Sharpening): 提升图像视觉锐度。

1.2 HDR 与 LSC 在 Pipeline 中的位置

下表清晰展示了 HDR 融合与 LSC 校正所处的具体阶段及其前后依赖关系:

处理阶段 模块名称 数据域 前后依赖
1 黑电平校正 (BLC) RAW 传感器原始数据输入
2 镜头阴影校正 (LSC) RAW 必须在 HDR 融合之前,保证单帧亮度均匀
3 坏点校正 (DPC) RAW LSC 之后
4 去噪 (NR) RAW DPC 之后
5 HDR 融合 (HDR Merge) RAW 多帧输入,LSC 校正后的帧序列
6 去马赛克 (Demosaic) RGB HDR 融合之后
7 色彩校正 (CCM) RGB Demosaic 之后
工程提示: LSC 必须在 HDR 融合之前完成。如果 LSC 校正不准确,多帧之间的亮度一致性会被破坏,导致 HDR 融合时出现拼接伪影或亮度跳变。

1.3 ISP Pipeline 架构图(含 HDR 与 LSC 位置)

以下 SVG 图展示了 ISP 核心处理流程,并高亮标注了 LSC 与 HDR 融合模块在数据流中的具体位置:

ISP Pipeline 核心流程与 HDR/LSC 位置 Sensor RAW BLC LSC 校正 DPC NR HDR 融合 Demosaic CCM Gamma / TM Sharpening YUV 输出 说明: LSC 校正(红色高亮)位于 RAW 域前端,必须在 HDR 融合之前完成,以保证多帧亮度一致性。 HDR 融合(红色高亮)接收多帧 LSC 校正后的 RAW 数据,输出高动态范围的 RAW 图像给后端处理。

1.4 HDR 与 LSC 的核心作用

核心作用对比:
模块 输入 输出 核心作用 调优关键指标
LSC 校正 单帧 RAW(含暗角) 亮度均匀的 RAW 补偿镜头光学衰减,消除边缘暗角,保证全画面亮度一致性 四角亮度均匀性(>95%)、校正增益上限
HDR 融合 多帧不同曝光 RAW 高动态范围 RAW 扩展动态范围,同时保留暗部细节与亮部层次 动态范围(dB)、融合信噪比、运动伪影

1.5 工程移植适配要点

在进行 ISP 调优工程移植时,需要特别关注以下与 HDR 和 LSC 相关的适配点:

  • LSC 网格参数移植: 不同镜头模组的光学特性不同,LSC 校正表(Gain Grid)需要重新标定,不能直接复用。
  • HDR 融合策略选择: 根据传感器能力选择“短-长曝光”两帧融合或“短-中-长”三帧融合,不同策略对 LSC 精度要求不同。
  • 时序与带宽约束: LSC 和 HDR 融合都是计算密集型模块,在嵌入式平台上需要评估 DDR 带宽与处理延迟。
  • 统计信息对齐: HDR 融合后的统计信息(如直方图、AWB 统计)需要重新设计,不能直接使用单帧统计逻辑。
常见陷阱: 在移植过程中,如果 LSC 校正表与传感器增益曲线不匹配,会导致 HDR 融合后的图像出现“亮度断层”或“色偏”,尤其是在图像边缘区域。务必在 LSC 调优完成后,再进行 HDR 融合参数的标定。