1. ISP 基础概念：图像信号处理器的作用与 Pipeline 概述
1.1 图像信号处理器 (ISP) 的核心作用
图像信号处理器（Image Signal Processor, ISP）是摄像头成像链路中的核心硬件单元，负责将 CMOS 图像传感器（CIS）输出的原始 Bayer 数据（RAW）转换为符合人眼视觉感知或机器视觉要求的 YUV/RGB 图像。ISP 通过一系列数字信号处理算法，补偿传感器物理缺陷、校正光学像差、还原真实色彩并抑制噪声。
ISP 三大核心使命：
- 还原物理真实： 校正镜头暗角、畸变、色差；补偿传感器坏点、固定模式噪声（FPN）。
- 优化视觉感知： 自动白平衡（AWB）、自动曝光（AE）、自动对焦（AF）三A算法联动；色彩映射与伽马校正。
- 提升信噪比： 多域降噪（空域/时域/频域）、HDR 合成、细节增强与边缘锐化。
调优视角： ISP 调优的本质是平衡“清晰度、噪声、色彩、动态范围”四个维度。IQ 参数（Image Quality Parameters）就是控制这些维度的旋钮集合。
1.2 ISP Pipeline 概述
ISP Pipeline 是图像数据从传感器到最终输出所经过的完整处理链路。不同厂商的 ISP 模块顺序略有差异，但核心阶段高度一致。下表列出典型 ISP Pipeline 的关键模块及其功能：
| 阶段序号 | 模块名称 | 输入/输出 | 核心功能 |
|---|---|---|---|
| 1 | BLC（黑电平校正） | RAW → RAW | 减去传感器暗电流偏移，恢复黑电平基准 |
| 2 | DPC（坏点校正） | RAW → RAW | 检测并插值替换传感器固定坏点 |
| 3 | LSC（镜头阴影校正） | RAW → RAW | 补偿镜头中心与边缘的光照衰减（暗角） |
| 4 | AWB（自动白平衡） | RAW → RAW | 估计色温并调整 R/G/B 增益，还原中性灰 |
| 5 | Demosaic（去马赛克） | RAW → RGB | 从 Bayer 模式插值出全分辨率 RGB 图像 |
| 6 | CCM（色彩校正矩阵） | RGB → RGB | 将传感器色彩空间映射到标准色域（sRGB/BT.709） |
| 7 | Gamma（伽马校正） | RGB → RGB | 非线性映射，适配显示设备亮度响应 |
| 8 | NR（降噪） | RGB → RGB | 空域/时域/频域联合降噪，保留边缘细节 |
| 9 | Sharpen（锐化） | RGB → RGB | 增强边缘对比度，提升视觉清晰度 |
| 10 | YUV 转换 | RGB → YUV | 转换到 YUV 色彩空间，便于编码与显示 |
下图展示了一个典型的 ISP Pipeline 数据流，从传感器 RAW 输入到最终 YUV 输出：
1.3 瑞芯微 RK 平台 ISP 架构简介
瑞芯微（Rockchip）RK 系列 SoC 内置自研 ISP 模块，支持多路摄像头输入、多帧 HDR、3A 算法硬件加速以及灵活的 IQ 参数调节接口。RK ISP 架构采用“硬件加速 + 固件调度 + 用户空间调优”三层设计：
- 硬件层： 包含 RAW 域处理单元（BLC/DPC/LSC/AWB）、RGB 域处理单元（CCM/Gamma/NR/Sharpen）、统计引擎（AE/AWB/AF 统计）以及 MIPI CSI 接口。
- 固件层： 运行在 ISP 微控制器上的实时调度固件，负责 3A 算法闭环、参数切换、帧同步与中断管理。
- 用户空间层： 通过 V4L2 或 Rockchip 私有 API 下发 IQ 参数文件（XML/JSON 格式），支持在线调参与离线标定。
调优注意： RK ISP 的 IQ 参数分为“静态参数”（传感器标定值、镜头标定值）和“动态参数”（3A 目标值、降噪强度、锐化强度）。调优时需先完成静态标定，再针对不同场景（室内/室外/夜景）调节动态参数。
下图展示瑞芯微 RK ISP 的软件架构层次：
1.4 RK ISP 关键特性总结
| 特性 | 说明 | 调优影响 |
|---|---|---|
| 多路摄像头支持 | 最多支持 4 路 MIPI CSI 同时输入 | 需为每路传感器独立标定 IQ 参数 |
| 多帧 HDR | 支持 2~3 帧不同曝光合成高动态范围 | HDR 融合权重与去鬼影参数需精细调节 |
| 3A 硬件统计 | AE/AWB/AF 统计由硬件实时计算 | 统计窗口与权重配置影响 3A 收敛速度 |
| IQ 参数热加载 | 支持运行时动态修改参数，无需重启 ISP | 在线调优效率高，但需注意参数边界 |
| 降噪与锐化联动 | NR 与 Sharpen 共用边缘检测通道 | 降噪过强会抹除细节，锐化过强会引入振铃 |
学习建议： 理解 ISP Pipeline 的每个模块是 IQ 调优的基础。建议在 RK 开发板上运行
rkisp_demo 工具，逐模块关闭/开启处理单元，观察图像变化，建立“参数 → 效果”的直觉映射。