瑞芯微RK平台ISP画质调优与场景问题排查 - 第1节
1.1 什么是ISP
ISP（Image Signal Processor，图像信号处理器） 是相机系统中负责将原始图像传感器数据转换为高质量数字图像的专用硬件或软件模块。在瑞芯微RK平台上，ISP通常以硬件IP核的形式集成在SoC中，配合驱动和3A算法库完成实时图像处理。
核心定义： ISP的输入是Bayer RAW格式的传感器原始数据，输出是经过降噪、色彩校正、锐化等处理后的YUV或RGB图像，直接服务于编码器、显示或AI分析模块。
ISP的输入与输出
| 项目 | 说明 |
|---|---|
| 输入 | Bayer RAW（12/10/8 bit）、MIPI CSI-2接口、行同步/帧同步信号 |
| 输出 | YUV420/YUV422、RGB888、NV12/NV21、支持多种分辨率裁剪与缩放 |
| 控制接口 | I2C/SPI配置传感器寄存器、ISP内部参数表（LSC/CCM/Gamma等） |
1.2 ISP在相机系统中的位置
在瑞芯微RK平台的典型相机系统中，ISP位于图像传感器（Sensor）与视频编码器（VENC）/显示子系统（DRM/KMS）之间，是整个成像链路的核心枢纽。ISP的调优质量直接决定最终图像效果。
相机系统分层架构
| 层级 | 组件 | 职责 |
|---|---|---|
| 感知层 | CMOS Sensor + 镜头 + IR-CUT | 光电转换、光学成像、红外截止 |
| 传输层 | MIPI D-PHY / LVDS | 高速串行传输RAW数据 |
| 处理层 | ISP（硬件IP + 驱动 + 3A库） | RAW→YUV转换、图像质量增强 |
| 应用层 | VENC / 显示 / AI-NPU | 压缩、预览、智能分析 |
1.3 ISP Pipeline 概述
ISP Pipeline 是指从 RAW 数据输入到最终图像输出的完整处理流程，每个模块对应一个图像质量优化环节。瑞芯微RK平台的ISP Pipeline 通常包含以下主要阶段：
标准ISP Pipeline 阶段
- Bayer 预处理： 黑电平校正（BLC）、镜头阴影校正（LSC）、坏点校正（DPC）
- 去马赛克（Demosaic）： 将 Bayer 模式插值重建为全彩色 RGB 图像
- 白平衡与色彩校正： AWB 增益、色彩校正矩阵（CCM）、Gamma 校正
- 降噪与锐化： 空域/时域降噪（NR）、边缘增强（Sharpness）
- 动态范围处理： 局部色调映射（LTM）、HDR 合成（多帧/片内）
- 输出格式转换： RGB→YUV 转换、缩放裁剪、统计信息输出
调优提示： RK平台的ISP Pipeline 各模块之间存在耦合关系。例如，降噪强度过大会导致锐化效果下降；LSC 校正不准会影响 AWB 统计。调优时建议按“前级→后级”顺序逐步调试。
Pipeline 模块与调优关注点
| 模块 | 调优参数示例 | 常见问题 |
|---|---|---|
| BLC | black_level_r/g/b | 暗部偏色、黑电平漂移 |
| LSC | lsc_gain_table | 四角偏暗/偏色 |
| DPC | dpc_threshold | 坏点残留或过度平滑 |
| Demosaic | demosaic_mode | 伪彩色、锯齿边缘 |
| AWB | r_gain / b_gain | 色温不准、偏色 |
| CCM | ccm_3x3_matrix | 色彩饱和度/色相偏差 |
| NR | nr_strength / nr_motion | 细节丢失、运动拖影 |
| Sharpness | sharp_ratio / sharp_limit | 过冲、振铃、边缘锯齿 |
重要提醒： ISP Pipeline 的调优不能孤立进行。例如，CCM 矩阵的调整会影响后续 Gamma 和 LTM 的效果；NR 强度过高会抵消 Sharpness 的增益。建议在标准光源（D65、TL84、A光源）下建立基准调优，再针对实际场景微调。