ISP Pipeline 概述:从 RAW 到 YUV 的关键模块

在低照度场景下,增益分配策略并非孤立存在,而是嵌入在 ISP(图像信号处理器)的完整流水线中。理解 ISP Pipeline 的基本流程,是掌握增益如何在不同模块间传递、放大与约束的前提。本章将系统梳理从 Sensor RAW 数据到最终 YUV 输出的关键模块,并明确每个模块在低照度环境下的作用与约束。

2.1 ISP Pipeline 整体架构

ISP Pipeline 通常按照“前端预处理 → 后端色彩重建 → 后处理增强”的次序组织。下图展示了典型的 ISP 数据流,其中每个模块都可能参与或受限于增益分配策略。

关键认知: 低照度场景下,增益分配的核心矛盾在于“提升亮度”与“抑制噪声”之间的平衡。Pipeline 中越靠前的模块(如 BLC、LSC)对噪声的放大效应越敏感,因此增益策略必须优先考虑前端模块的噪声约束。
ISP Pipeline 整体架构图 ISP Pipeline 整体架构图 Sensor RAW BLC LSC Demosaic AWB CCM Gamma NR Sharpen YUV 说明: 低照度场景下,增益分配主要影响 BLC(黑电平补偿)后的数字增益、LSC(镜头阴影校正)的补偿系数、以及 NR(降噪)的强度阈值。 增益策略需在 Demosaic 之前控制噪声基底,避免色彩重建后噪声被放大。

2.2 关键模块详解

以下按照 Pipeline 顺序,逐一说明每个模块的功能、输入输出,以及低照度场景下的增益分配要点。

模块 功能 输入 / 输出 低照度增益要点
BLC (Black Level Correction) 去除 Sensor 暗电流引入的固定偏置,恢复黑电平零点。 RAW → RAW (去偏置) BLC 偏移量直接影响后续增益的基准点;低照度下需精确校准,避免暗部偏色。
LSC (Lens Shading Correction) 补偿镜头边缘亮度衰减(暗角),对每个像素乘以增益系数。 RAW → RAW (均匀亮度) LSC 增益系数在边缘区域可能 >2x,低照度下会显著放大边缘噪声,需限制最大增益。
Demosaic 将 Bayer 模式 RAW 插值重建为全彩色 RGB 图像。 RAW → RGB 插值过程会引入空间相关性噪声;低照度下需采用边缘导向插值,避免伪色。
AWB (Auto White Balance) 估计光源色温,对 R/G/B 通道施加独立增益,使白色物体还原为中性。 RGB → RGB (色温校正) 低照度下 AWB 增益差异可能很大(如 R 通道增益 2.5x,B 通道 1.2x),需平衡通道噪声。
CCM (Color Correction Matrix) 通过 3x3 矩阵将 Sensor 色彩空间映射到标准色彩空间(如 sRGB)。 RGB → RGB (色彩校正) CCM 矩阵系数可能放大噪声(尤其是蓝色通道),低照度下需使用降噪友好的 CCM。
Gamma 对图像进行非线性亮度映射(通常 Gamma=2.2),压缩亮部、扩展暗部。 RGB → RGB (非线性) Gamma 曲线在暗部区域斜率大,会放大暗部噪声;低照度下可调整 Gamma 曲线斜率。
NR (Noise Reduction) 对图像进行空间域或频域降噪,包括亮度降噪和色度降噪。 YUV → YUV (降噪) 低照度下 NR 强度需动态调整:过强损失细节,过弱噪声明显。增益分配需为 NR 预留信噪比余量。
Sharpen 通过高通滤波增强图像边缘细节。 YUV → YUV (锐化) 锐化会同时增强噪声;低照度下需降低锐化强度或使用边缘掩膜。

2.3 模块间的增益传递关系

在低照度场景下,增益并非仅由 AGC(自动增益控制)单独决定,而是多个模块的增益系数叠加作用。理解这种传递关系,是设计增益分配策略的基础。

增益传递公式(简化):
Total_Gain = BLC_Offset_Effect × LSC_Gain × AWB_Gain × CCM_Gain_Effect × Gamma_Slope
其中,BLC_Offset_Effect 为黑电平校正后的有效增益(通常接近 1.0),LSC_Gain 为镜头阴影校正增益(边缘可达 1.5~3.0),AWB_Gain 为白平衡通道增益(典型值 1.0~2.5),CCM_Gain_Effect 为色彩校正矩阵引入的等效增益(通常 0.8~1.2),Gamma_Slope 为 Gamma 曲线在暗部的斜率(可 >2.0)。
增益传递关系图 增益传递关系图(低照度场景示例) BLC 增益≈1.0 LSC 增益1.2~2.5 AWB 增益1.0~2.5 CCM 增益0.8~1.2 Gamma 斜率1.5~2.5 增益累积示例: 假设 Sensor 原始信号为 10 DN(低照度),经过 BLC(1.0) → LSC(1.8) → AWB(R:2.0, G:1.0, B:1.5) → CCM(1.1) → Gamma(2.0), 则 R 通道等效总增益 = 1.0 × 1.8 × 2.0 × 1.1 × 2.0 = 7.92,输出信号约 79 DN。但噪声也被放大 7.92 倍,信噪比不变。 因此,增益分配策略的核心是在总增益固定的前提下,优化各模块的增益分配比例,以最小化噪声放大效应。

2.4 低照度场景下的模块优先级

在增益分配策略设计中,并非所有模块的增益都可以自由调整。以下优先级排序有助于在低照度场景下做出合理权衡:

  1. 第一优先级:BLC 与 LSC — 这两个模块的增益是“硬约束”,由 Sensor 物理特性决定。BLC 偏移量必须精确,LSC 增益系数由镜头 shading 曲线决定,通常不可大幅降低,否则会出现暗角或偏色。
  2. 第二优先级:AWB 与 CCM — 这两个模块的增益影响色彩准确性。在低照度下,可以适当放宽 AWB 的色温估计精度,以降低通道增益差异;CCM 可选择噪声优化版本(如降低蓝色通道增益)。
  3. 第三优先级:Gamma 与 NR — Gamma 曲线可以在不改变总增益的前提下,通过调整暗部斜率来抑制噪声放大;NR 是最后一道防线,但过度依赖 NR 会导致细节丢失。
  4. 第四优先级:Sharpen — 锐化是唯一一个可以完全关闭的模块。在极低照度下,建议关闭 Sharpen 或使用极低强度,避免噪声被锐化放大。
常见误区: 有些工程师在低照度场景下优先提高 AWB 增益来“提亮”图像,这会导致 R/B 通道噪声急剧增加,且后续 CCM 和 Gamma 会进一步放大噪声。正确的做法是:先评估 LSC 和 BLC 的增益上限,再分配 AWB 和 CCM 的增益,最后用 Gamma 和 NR 做微调。

2.5 本章小结