2. RK ISP 硬件架构:内部模块框图与功能解析

RK 平台 ISP(Image Signal Processor)采用高度模块化的硬件流水线设计,将原始 Bayer 数据逐步转换为高质量的 YUV 或 RGB 图像。理解各内部模块的排列顺序与功能边界,是进行 ISP 参数在线调试与效果评估的基础。本章将逐一拆解 DPCC、BLS、LSC、AWB、CCM、Gamma、3DNR 等核心模块,并给出完整的硬件流水线框图。

RK ISP 硬件流水线模块框图 RK ISP 硬件流水线(模块级) DPCC BLS LSC AWB CCM Gamma 3DNR Bayer RAW YUV/RGB 数据流方向:Bayer RAW → DPCC → BLS → LSC → AWB → CCM → Gamma → 3DNR → YUV/RGB 前处理(去噪/校正) 色彩处理(白平衡/矩阵) 后处理(Gamma/降噪)

2.1 DPCC(Defect Pixel Cluster Correction)—— 坏点簇校正

DPCC 模块位于 ISP 流水线的最前端,负责检测并修复传感器输出的 Bayer 数据中的坏点(Dead Pixel)与坏点簇(Cluster)。RK ISP 的 DPCC 支持静态坏点表与动态检测两种模式。

  • 静态校正:预置坏点坐标表,直接替换为邻域像素插值。
  • 动态校正:基于梯度与阈值判断异常像素,适用于温度漂移产生的新坏点。
  • 簇处理:当连续多个像素异常时,启用中值滤波或均值滤波,避免单点校正失效。
调优提示: DPCC 阈值设置过小会导致正常细节被误判为坏点,产生“磨皮”效应;阈值过大则坏点残留,表现为固定白点或黑点。建议在暗场(镜头盖)下采集静态坏点表,再配合动态阈值微调。

2.2 BLS(Black Level Subtraction)—— 黑电平校正

BLS 模块从每个像素值中减去黑电平偏移量,消除传感器暗电流与 ADC 偏置带来的固定基底噪声。RK ISP 支持按通道(R/Gr/Gb/B)独立配置黑电平值。

通道典型黑电平值(10bit)作用
R64校正红色通道暗电流
Gr64校正绿色(R行)通道
Gb64校正绿色(B行)通道
B64校正蓝色通道暗电流

BLS 参数直接影响暗部噪声水平与色彩还原精度。调优时需在完全遮光环境下采集 RAW 图,统计各通道最小值作为基准。

2.3 LSC(Lens Shading Correction)—— 镜头阴影校正

由于镜头的光学特性,图像边缘亮度通常低于中心(亮度阴影),且可能出现色彩偏移(色彩阴影)。LSC 模块通过增益矩阵对每个像素进行补偿。

  • 增益网格:RK ISP 支持 17×17 或 33×33 网格,每个网格点存储 R/G/B 三通道增益系数。
  • 插值方式:双线性插值或双三次插值,平衡精度与硬件开销。
  • 校准流程:拍摄均匀灰卡(DNP 或 X-Rite),计算每个网格点的理想增益。
关键指标: LSC 校正后,四角亮度与中心亮度偏差应 < 5%;色彩阴影导致的 ΔE 应 < 3。调优工具中可实时切换增益网格查看校正效果。

2.4 AWB(Auto White Balance)—— 自动白平衡

AWB 模块负责估计场景光源色温,并调整 R/G/B 增益使白色物体在不同光源下呈现中性白。RK ISP 的 AWB 包含统计引擎与校正引擎两部分。

  • 统计引擎:将图像划分为 M×N 块,统计每块的 R/G、B/G 比值,映射到色温曲线。
  • 校正引擎:根据估计色温计算 R 与 B 通道增益,G 通道通常固定为 1.0。
  • 混合模式:支持全局 AWB 与局部 AWB(ROI 区域优先)。
AWB 色温估计与增益计算流程 AWB 色温估计与增益计算 RAW 图像分块 R/G、B/G 统计 色温曲线匹配 R/G 增益输出 色温曲线:D65(6500K) / A(2856K) / TL84(4000K) 增益范围:0.5 ~ 4.0,步长 0.001

2.5 CCM(Color Correction Matrix)—— 色彩校正矩阵

CCM 模块将传感器 RGB 色彩空间转换到标准色彩空间(如 sRGB、BT.709),通过 3×3 矩阵校正串扰与非线性响应。RK ISP 支持多组 CCM 系数,根据色温区间自动切换。

// CCM 矩阵示例(sRGB 目标)
[ R_out ]   [  1.85  -0.65  -0.20 ] [ R_in ]
[ G_out ] = [ -0.15   1.50  -0.35 ] [ G_in ]
[ B_out ]   [  0.05  -0.40   1.35 ] [ B_in ]

调优时需使用 24 色卡(ColorChecker)采集数据,通过最小二乘法拟合矩阵系数。CCM 系数过大会导致色彩过饱和或色阶断裂。

2.6 Gamma(Gamma Correction)—— 伽马校正

Gamma 模块对线性数据进行非线性映射,以匹配显示设备的亮度响应曲线(通常 Gamma=2.2)。RK ISP 支持 12bit 输入、10bit 输出的查找表(LUT),可自定义 256 个映射点。

  • 标准 Gamma:输出 = 输入 ^ (1/2.2),适用于普通显示。
  • 自定义 LUT:可针对暗部提亮或高光压缩,用于 HDR 或低光照场景。
  • 分段线性:硬件资源受限时使用,精度略低于 LUT。
注意: Gamma 校正必须在 CCM 之后执行,否则会破坏色彩矩阵的线性假设。调优时避免 Gamma 曲线过陡导致暗部噪声放大。

2.7 3DNR(3D Noise Reduction)—— 三维降噪

3DNR 模块结合时域滤波与空域滤波,在视频或连拍模式下利用帧间相关性抑制噪声。RK ISP 的 3DNR 包含运动检测与自适应强度控制。

降噪维度原理适用场景
时域(Temporal)当前帧与参考帧像素加权平均静态场景、低光照
空域(Spatial)双边滤波或非局部均值运动区域、边缘保护
混合(Hybrid)运动掩膜控制时域/空域权重一般视频、监控

3DNR 参数包括时域衰减系数、空域强度、运动阈值。调优时需在动态场景与静态场景之间平衡,避免运动拖影或噪声残留。

3DNR 时域与空域混合降噪流程 3DNR 混合降噪流程 当前帧输入 运动检测 时域滤波 空域滤波 融合输出 参考帧更新(时域反馈) 运动阈值:0~255,值越小时域权重越大 空域强度:0~1.0,值越大边缘保留越强

2.8 模块协同与调优顺序

ISP 各模块之间存在强耦合关系,错误的调优顺序会导致效果反复。推荐以下调优路径:

  1. DPCC + BLS:先消除硬件固定噪声与坏点,确保输入数据干净。
  2. LSC:校正镜头阴影,避免亮度不均影响后续统计。
  3. AWB + CCM:在均匀光照下校准白平衡与色彩矩阵。
  4. Gamma:根据目标显示设备设定映射曲线。
  5. 3DNR:最后调整降噪强度,避免降噪掩盖其他模块的缺陷。
工程建议: 使用 RK ISP 调优工具时,建议先加载默认参数,然后按上述顺序逐模块微调。每次修改后保存配置文件,并截图对比效果,便于回溯。