4. ISP Pipeline 架构：ISP处理流程、RAW域、RGB域、YUV域划分
ISP（Image Signal Processor）Pipeline 是摄像头图像从传感器原始数据到最终可视图像的完整处理链路。理解 ISP 的流水线架构，特别是 RAW、RGB、YUV 三个色彩域的划分与转换，是进行白平衡校正和 ISP 参数配置的基础。本章将深入剖析 ISP 的标准处理流程，并明确各阶段的数据特性与处理目标。
4.1 ISP 标准处理流程概览
一个典型的 ISP Pipeline 遵循从传感器输出到最终编码输出的顺序，通常包含以下核心模块。不同厂商（如 Qualcomm、MTK、Samsung）的 ISP 可能在模块顺序和实现细节上略有差异，但整体逻辑高度一致。
核心原则： ISP 处理是逐级进行的，前一级的输出是后一级的输入。参数配置错误（如白平衡增益错误）会逐级放大，导致最终图像色彩失真。
4.2 三大色彩域的定义与划分
ISP Pipeline 根据数据处理阶段的不同，可以划分为三个独立的色彩域。每个域都有其特定的数据格式和处理目标。
| 色彩域 | 数据格式 | 主要处理模块 | 核心目标 |
|---|---|---|---|
| RAW 域 | Bayer 模式（RGGB/GRBG 等） | BLC、LSC、DPC、AWB | 恢复传感器原始信号的物理真实性，消除硬件缺陷 |
| RGB 域 | 全分辨率 RGB 三通道 | CCM、Gamma、Tone Mapping | 色彩还原与视觉感知优化，使颜色符合人眼预期 |
| YUV 域 | 亮度 Y + 色度 UV（如 NV12、YV12） | 降噪、边缘增强、编码 | 提升图像清晰度，压缩数据量，适配显示与编码标准 |
4.3 RAW 域：物理信号的还原
RAW 域是 ISP 处理的第一阶段，直接处理来自图像传感器的原始 Bayer 数据。此阶段的数据是线性且未经过颜色插值的，每个像素只包含 R、G、B 中的一个颜色分量。
- 数据特点： 线性响应、高位深（通常 10bit/12bit/14bit）、Bayer 模式排列。
- 关键处理：
- 黑电平校正 (BLC)： 减去传感器暗电流引入的固定偏移量。
- 镜头阴影校正 (LSC)： 补偿镜头边缘亮度衰减和色彩偏移。
- 坏点校正 (DPC)： 检测并替换传感器阵列中的死点或亮点。
- 白平衡增益 (AWB)： 对 R、G、B 通道施加独立增益，使中性色在后续处理中呈现为灰色。
实战要点： 白平衡增益必须在 RAW 域、去马赛克之前施加。如果在 RGB 域或 YUV 域再做白平衡，会导致颜色混叠和分辨率损失。驱动开发中，AWB 增益通常通过 I2C 或 SPI 写入 ISP 寄存器。
4.4 RGB 域：色彩的重建与优化
经过去马赛克（Demosaic）插值后，每个像素都获得了完整的 R、G、B 值，数据进入 RGB 域。此阶段的目标是让图像色彩从“物理准确”向“视觉舒适”转变。
- 数据特点： 全分辨率 RGB 三通道、非线性（经过 Gamma 校正后）。
- 关键处理：
- 颜色校正矩阵 (CCM)： 一个 3x3 矩阵，用于将传感器光谱响应映射到标准色彩空间（如 sRGB、BT.709）。这是色彩还原的核心。
- Gamma 校正： 对图像进行非线性映射，以匹配显示设备的亮度响应特性，同时提升暗部细节。
- 色调映射 (Tone Mapping)： 将高动态范围（HDR）数据压缩到标准动态范围（SDR），保留亮部和暗部细节。
4.5 YUV 域：编码与增强
YUV 域是 ISP 处理的最后阶段。通过色彩空间转换（Color Space Conversion, CSC），RGB 数据被分离为亮度（Y）和色度（U/V）分量。这种分离有利于图像压缩和视频编码。
- 数据特点： Y 通道代表亮度信息，U/V 通道代表色度信息。通常对 UV 通道进行色度子采样（如 4:2:0）以节省带宽。
- 关键处理：
- 降噪 (NR)： 在 Y 通道和 UV 通道分别进行降噪，去除传感器噪声和压缩伪影。
- 边缘增强 (Sharpness)： 仅对 Y 通道进行高通滤波和增益，提升图像视觉清晰度，避免色度噪声被放大。
- 输出编码： 将处理后的 YUV 数据打包成标准格式（如 NV12、YV12、YUYV），供显示驱动或视频编码器使用。
常见误区： 不要在 YUV 域进行白平衡调整。YUV 域的白平衡调整会破坏色彩空间转换的线性关系，导致色偏和肤色失真。所有白平衡相关操作必须在 RAW 域完成。
4.6 域划分对驱动开发的实际意义
理解三个域的划分，对于 Camera 驱动工程师配置 ISP 参数至关重要。错误的域操作会导致不可逆的图像质量损失。
| 操作 | 正确域 | 错误域后果 |
|---|---|---|
| 白平衡增益 | RAW 域 | 在 RGB/YUV 域调整会导致颜色混叠、分辨率下降 |
| 颜色校正 (CCM) | RGB 域 | 在 RAW 域无法应用矩阵变换；在 YUV 域会破坏色度分离 |
| 降噪 | YUV 域 | 在 RAW 域降噪会抹除 Bayer 模式细节，导致去马赛克后伪影 |
| 边缘增强 | YUV 域 (Y 通道) | 在 RGB 域增强会放大色度噪声，导致彩色噪点 |
4.7 实战：ISP 参数配置的域检查清单
在调试 ISP 参数时，建议按照以下清单逐项确认参数所在的域是否正确：
- 确认当前 ISP 寄存器地址对应的模块： 查阅芯片手册，确认该寄存器属于 RAW、RGB 还是 YUV 域。
- 检查白平衡增益寄存器： 确认其位于 RAW 域处理模块（通常在 DPC 之后，Demosaic 之前）。
- 验证 CCM 矩阵寄存器： 确认其位于 RGB 域，且输入数据已经过白平衡校正。
- 确认降噪和锐化寄存器： 确认其位于 YUV 域，且输入数据已经过色彩空间转换。
- 使用调试工具抓取中间帧： 通过 ISP 的调试接口（如 dump RAW、dump RGB、dump YUV）验证各域输出是否符合预期。
驱动调试技巧： 在调试白平衡时，可以先 dump 出 RAW 域数据，在 PC 端用工具（如 RawTherapee、dcraw）手动调整白平衡，确认最佳增益值后，再写入 ISP 寄存器。这样可以快速定位问题是出在 AWB 算法还是参数配置上。