2. RK ISP Pipeline 基础：硬件架构、关键模块与数据流
在 RK 平台图像调优工作中，理解 ISP（Image Signal Processor）的硬件架构与数据流是进行场景参数配置与 AE 协同调试的前提。本章将系统梳理 RK ISP 的硬件组成、核心模块（AWB/AE/AF）的功能定位，以及从 Sensor 原始数据到最终 YUV 图像的完整处理链路。
2.1 RK ISP 硬件架构概览
RK 平台 ISP 通常集成在 SoC 内部，作为独立的硬件加速单元，负责接管所有图像信号处理任务，从而释放 CPU/GPU 资源。其典型架构包含以下几个关键物理模块：
| 模块名称 | 功能描述 | 数据接口 |
|---|---|---|
| MIPI RX / DVP | 接收来自图像传感器的原始 RAW 数据（Bayer 格式），支持多通道输入 | MIPI CSI-2 / DVP |
| DPCC (坏点校正) | 检测并补偿 Sensor 阵列中的静态/动态坏点 | RAW 域 |
| BLC (黑电平校正) | 减去 Sensor 暗电流引入的固定偏移量 | RAW 域 |
| LSC (镜头阴影校正) | 补偿镜头边缘亮度衰减和色彩偏差 | RAW 域 |
| AE / AWB / AF 统计引擎 | 硬件级统计模块，实时计算亮度直方图、色温分布、对比度等 | RAW / RGB 域 |
| Demosaic (去马赛克) | 将 Bayer RAW 插值重建为全分辨率 RGB 图像 | RAW → RGB |
| CCM (色彩校正矩阵) | 将 Sensor 原生 RGB 空间映射到标准色彩空间（如 sRGB） | RGB 域 |
| Gamma / Tone Mapping | 非线性亮度映射，提升暗部细节或压缩高动态范围 | RGB 域 |
| YUV 输出模块 | 将 RGB 转换为 YUV 格式，并输出到显示或编码器 | RGB → YUV |
2.2 关键模块详解：AWB / AE / AF
AE、AWB、AF 是 ISP 调优中最核心的三个自动模块，它们共同决定了图像的亮度、色彩与清晰度。三者之间并非独立工作，而是通过统计数据和策略进行协同。
2.2.1 AE（自动曝光）
AE 模块的目标是控制 Sensor 的曝光时间、模拟增益和数字增益，使图像亮度稳定在目标亮度附近。RK ISP 的 AE 统计引擎会输出亮度直方图、分区亮度均值等数据。
- 控制对象： 曝光时间（Shutter）、模拟增益（AG）、数字增益（DG）。
- 策略模式： 中心权重、平均测光、高光优先、人脸优先等。
- 收敛速度： 通过 PID 或自适应步长控制，避免曝光闪烁。
2.2.2 AWB（自动白平衡）
AWB 模块负责消除不同光源下的色偏，使白色物体在图像中呈现为白色。RK ISP 的 AWB 统计引擎会计算 R/G、B/G 比值，并在色温曲线上进行匹配。
- 色温范围： 通常覆盖 2000K ~ 10000K。
- 校正方式： 通过 R/G/B 增益调整，或结合 CCM 进行混合校正。
- 锁定机制： 在场景切换时，AWB 需要快速收敛，但也要防止因局部色块导致的误判。
2.2.3 AF（自动对焦）
AF 模块通过移动镜头位置，使图像对比度最大化。RK ISP 的 AF 统计引擎会计算不同对焦窗口内的对比度值（通常使用 Sobel 或 Laplacian 算子）。
- 对焦模式： 反差对焦（CDAF）、相位对焦（PDAF，需 Sensor 支持）、混合对焦。
- 搜索算法： 全行程扫描、爬山算法、快速搜索。
- 窗口配置： 支持多窗口、变焦跟踪、人脸优先对焦。
2.3 数据流与处理链路
从 Sensor 捕获光线到最终输出 YUV 图像，数据在 RK ISP 内部经过一条固定的流水线。理解这条链路有助于定位图像质量问题发生在哪个阶段。
2.4 处理链路中的关键阶段
根据数据流图，可以将 RK ISP 的处理链路划分为三个主要阶段：
- RAW 域预处理阶段： 包括 DPCC、BLC、LSC。此阶段处理的是 Sensor 最原始的 Bayer 数据，任何错误校正都会在后续放大。调优时需优先保证此阶段的参数准确性。
- RGB 域重建与校正阶段： 包括 Demosaic、CCM、Gamma。此阶段将 RAW 数据转换为全彩色图像，并进行色彩和亮度映射。CCM 矩阵的精度直接影响色彩还原，Gamma 曲线影响动态范围。
- YUV 输出与统计阶段： 包括 RGB 到 YUV 的转换，以及 AE/AWB/AF 统计引擎的实时数据采集。YUV 输出用于显示或编码，统计引擎则用于闭环控制。
2.5 数据流与 3A 协同关系
AE、AWB、AF 三个模块并非独立运行，它们通过统计引擎共享数据，并按照一定的优先级和时序进行协同。下表总结了三者之间的典型交互：
| 交互方向 | 影响关系 | 调优注意事项 |
|---|---|---|
| AE → AWB | AE 调整曝光后，图像亮度变化会影响 AWB 的色温统计（低亮度下色温偏差增大） | 在低照度场景下，AWB 应降低色温校正强度，或切换到暗光白平衡策略 |
| AE → AF | AE 的曝光时间变化会影响 AF 的对比度计算（过曝或欠曝都会降低对比度） | AF 窗口应避开过曝/欠曝区域，或使用归一化对比度算法 |
| AF → AE | AF 合焦后图像清晰度提升，AE 统计的亮度均值可能发生变化 | AE 应在 AF 稳定后再进行精细调整，避免反复震荡 |
| AWB → AE | AWB 的增益调整会改变 RGB 通道的权重，间接影响亮度统计 | AE 统计应基于 Y 分量（亮度），避免受 AWB 增益变化干扰 |
2.6 本章小结
本章从 RK ISP 的硬件架构出发，详细介绍了 DPCC、BLC、LSC、Demosaic、CCM、Gamma 等关键模块，并重点剖析了 AE、AWB、AF 三大自动模块的功能与协同关系。通过数据流图，我们明确了 RAW 域预处理、RGB 域重建、YUV 输出三个阶段的分工与衔接。理解这些基础是后续进行场景参数配置与 AE 曝光协同调试的基石。