1. ISP Pipeline 概述:从 RAW 到 YUV/RGB 的完整图像信号处理链路
图像信号处理器(ISP, Image Signal Processor)是数字成像系统的核心,负责将图像传感器输出的原始 RAW 数据,经过一系列算法模块的流水线处理,最终生成人眼可感知或机器可分析的 YUV/RGB 格式图像。理解 ISP Pipeline 的整体架构,是进行 LSC 校正与 AWB 校准调优的前提。
1.1 ISP Pipeline 核心流程
典型的 ISP 处理流程从 RAW 域开始,经过线性化、校正、插值、色彩变换、色调映射和增强等阶段,最终输出标准色彩空间的图像。下图展示了 ISP Pipeline 的主要模块及其数据流向:
1.2 各模块功能速览
下表汇总了 ISP Pipeline 中主要模块的功能、输入/输出域以及调优关注点:
| 模块 | 全称 | 处理域 | 核心功能 | 调优关键指标 |
|---|---|---|---|---|
| BLC | Black Level Correction | RAW | 减去传感器暗电流偏移,恢复黑电平零点 | 黑电平精度、暗部噪声 |
| LSC | Lens Shading Correction | RAW | 校正镜头引起的中心-边缘亮度衰减(Luma Shading)和色彩偏移(Color Shading) | 均匀性(Delta L/Delta C)、校正增益上限 |
| AWB | Auto White Balance | RAW | 估计场景光源色温,调整 R/G/B 增益使中性色还原为白色 | 色温估计误差、白点稳定性 |
| Demosaic | Color Demosaicing | RAW → RGB | 从 Bayer 模式插值出每个像素的 R/G/B 全色彩信息 | 伪彩色抑制、边缘清晰度 |
| CCM | Color Correction Matrix | RGB | 通过 3x3 矩阵将传感器 RGB 转换到标准色彩空间(如 sRGB) | 色彩饱和度、色相准确性 |
| Gamma | Gamma Correction | RGB | 对亮度进行非线性映射,适配显示设备的电光转换特性 | 对比度、暗部细节 |
| CSC | Color Space Conversion | RGB → YUV | 将 RGB 转换为亮度-色度分离的 YUV 格式,便于压缩和传输 | 转换精度、量化误差 |
| Sharpen | Sharpening | YUV | 增强图像边缘对比度,提升视觉清晰度 | 过冲/振铃、信噪比 |
| NR | Noise Reduction | YUV | 抑制传感器和电路引入的随机噪声、固定模式噪声 | 噪声方差、细节保留度 |
1.3 LSC 与 AWB 在 Pipeline 中的位置与作用
LSC 和 AWB 均位于 RAW 域处理阶段,紧接在 BLC 之后、Demosaic 之前。这种串联顺序具有明确的物理和算法意义:
- LSC 先于 AWB:LSC 校正的是镜头光学系统引入的固定空间不均匀性。如果先做 AWB,镜头阴影导致的 R/G/B 通道增益差异会被错误地当作光源色温变化来补偿,导致白平衡系数在画面不同区域不一致,最终产生中心-边缘色偏。
- AWB 紧随 LSC 之后:经过 LSC 校正后,图像各区域的 R/G/B 响应已经均匀化,此时 AWB 可以基于整帧或统计窗口的色温估计,施加全局统一的 R/G/B 增益,实现准确的白平衡。
- 共同影响图像基础质量:LSC 决定了图像的亮度均匀性和色彩均匀性,AWB 决定了图像的整体色温倾向。这两个模块的调优质量直接影响后续 Demosaic、CCM、Gamma 等模块的处理效果。
💡 工程实战要点:
在 ISP 调优项目中,LSC 和 AWB 的校准通常需要联合进行。先通过均匀光源(如 DNP 灯箱)采集 LSC 校正表,再在多种标准光源(D65、A、TL84 等)下验证 AWB 的收敛精度。任何一方的参数偏差都会在最终图像中表现为区域性色偏或整体色温漂移。
1.4 LSC 与 AWB 的交互关系图
下图展示了 LSC 与 AWB 在 RAW 域中的具体交互逻辑:
1.5 调优工程中的常见误区
⚠️ 常见误区提醒:
- 误区一:先调 AWB 再调 LSC。这会导致 LSC 校正表包含 AWB 的色温补偿信息,当场景色温变化时,LSC 校正效果会失效。
- 误区二:LSC 增益设置过高。过大的校正增益会放大传感器噪声,尤其在图像边缘区域,导致 SNR 恶化。
- 误区三:AWB 仅依赖单一色温估计点。在混合光源场景下,单一色温估计容易产生整体色偏,需要结合统计直方图或多区域加权策略。