ISP Pipeline 概述:从 RAW 到 YUV 的关键模块
在低照度场景下,增益分配策略并非孤立存在,而是嵌入在 ISP(图像信号处理器)的完整流水线中。理解 ISP Pipeline 的基本流程,是掌握增益如何在不同模块间传递、放大与约束的前提。本章将系统梳理从 Sensor RAW 数据到最终 YUV 输出的关键模块,并明确每个模块在低照度环境下的作用与约束。
2.1 ISP Pipeline 整体架构
ISP Pipeline 通常按照“前端预处理 → 后端色彩重建 → 后处理增强”的次序组织。下图展示了典型的 ISP 数据流,其中每个模块都可能参与或受限于增益分配策略。
关键认知: 低照度场景下,增益分配的核心矛盾在于“提升亮度”与“抑制噪声”之间的平衡。Pipeline 中越靠前的模块(如 BLC、LSC)对噪声的放大效应越敏感,因此增益策略必须优先考虑前端模块的噪声约束。
2.2 关键模块详解
以下按照 Pipeline 顺序,逐一说明每个模块的功能、输入输出,以及低照度场景下的增益分配要点。
| 模块 | 功能 | 输入 / 输出 | 低照度增益要点 |
|---|---|---|---|
| BLC (Black Level Correction) | 去除 Sensor 暗电流引入的固定偏置,恢复黑电平零点。 | RAW → RAW (去偏置) | BLC 偏移量直接影响后续增益的基准点;低照度下需精确校准,避免暗部偏色。 |
| LSC (Lens Shading Correction) | 补偿镜头边缘亮度衰减(暗角),对每个像素乘以增益系数。 | RAW → RAW (均匀亮度) | LSC 增益系数在边缘区域可能 >2x,低照度下会显著放大边缘噪声,需限制最大增益。 |
| Demosaic | 将 Bayer 模式 RAW 插值重建为全彩色 RGB 图像。 | RAW → RGB | 插值过程会引入空间相关性噪声;低照度下需采用边缘导向插值,避免伪色。 |
| AWB (Auto White Balance) | 估计光源色温,对 R/G/B 通道施加独立增益,使白色物体还原为中性。 | RGB → RGB (色温校正) | 低照度下 AWB 增益差异可能很大(如 R 通道增益 2.5x,B 通道 1.2x),需平衡通道噪声。 |
| CCM (Color Correction Matrix) | 通过 3x3 矩阵将 Sensor 色彩空间映射到标准色彩空间(如 sRGB)。 | RGB → RGB (色彩校正) | CCM 矩阵系数可能放大噪声(尤其是蓝色通道),低照度下需使用降噪友好的 CCM。 |
| Gamma | 对图像进行非线性亮度映射(通常 Gamma=2.2),压缩亮部、扩展暗部。 | RGB → RGB (非线性) | Gamma 曲线在暗部区域斜率大,会放大暗部噪声;低照度下可调整 Gamma 曲线斜率。 |
| NR (Noise Reduction) | 对图像进行空间域或频域降噪,包括亮度降噪和色度降噪。 | YUV → YUV (降噪) | 低照度下 NR 强度需动态调整:过强损失细节,过弱噪声明显。增益分配需为 NR 预留信噪比余量。 |
| Sharpen | 通过高通滤波增强图像边缘细节。 | YUV → YUV (锐化) | 锐化会同时增强噪声;低照度下需降低锐化强度或使用边缘掩膜。 |
2.3 模块间的增益传递关系
在低照度场景下,增益并非仅由 AGC(自动增益控制)单独决定,而是多个模块的增益系数叠加作用。理解这种传递关系,是设计增益分配策略的基础。
增益传递公式(简化):
其中,BLC_Offset_Effect 为黑电平校正后的有效增益(通常接近 1.0),LSC_Gain 为镜头阴影校正增益(边缘可达 1.5~3.0),AWB_Gain 为白平衡通道增益(典型值 1.0~2.5),CCM_Gain_Effect 为色彩校正矩阵引入的等效增益(通常 0.8~1.2),Gamma_Slope 为 Gamma 曲线在暗部的斜率(可 >2.0)。
Total_Gain = BLC_Offset_Effect × LSC_Gain × AWB_Gain × CCM_Gain_Effect × Gamma_Slope其中,BLC_Offset_Effect 为黑电平校正后的有效增益(通常接近 1.0),LSC_Gain 为镜头阴影校正增益(边缘可达 1.5~3.0),AWB_Gain 为白平衡通道增益(典型值 1.0~2.5),CCM_Gain_Effect 为色彩校正矩阵引入的等效增益(通常 0.8~1.2),Gamma_Slope 为 Gamma 曲线在暗部的斜率(可 >2.0)。
2.4 低照度场景下的模块优先级
在增益分配策略设计中,并非所有模块的增益都可以自由调整。以下优先级排序有助于在低照度场景下做出合理权衡:
- 第一优先级:BLC 与 LSC — 这两个模块的增益是“硬约束”,由 Sensor 物理特性决定。BLC 偏移量必须精确,LSC 增益系数由镜头 shading 曲线决定,通常不可大幅降低,否则会出现暗角或偏色。
- 第二优先级:AWB 与 CCM — 这两个模块的增益影响色彩准确性。在低照度下,可以适当放宽 AWB 的色温估计精度,以降低通道增益差异;CCM 可选择噪声优化版本(如降低蓝色通道增益)。
- 第三优先级:Gamma 与 NR — Gamma 曲线可以在不改变总增益的前提下,通过调整暗部斜率来抑制噪声放大;NR 是最后一道防线,但过度依赖 NR 会导致细节丢失。
- 第四优先级:Sharpen — 锐化是唯一一个可以完全关闭的模块。在极低照度下,建议关闭 Sharpen 或使用极低强度,避免噪声被锐化放大。
常见误区: 有些工程师在低照度场景下优先提高 AWB 增益来“提亮”图像,这会导致 R/B 通道噪声急剧增加,且后续 CCM 和 Gamma 会进一步放大噪声。正确的做法是:先评估 LSC 和 BLC 的增益上限,再分配 AWB 和 CCM 的增益,最后用 Gamma 和 NR 做微调。