2. RK ISP 硬件架构:内部模块框图与功能解析
RK 平台 ISP(Image Signal Processor)采用高度模块化的硬件流水线设计,将原始 Bayer 数据逐步转换为高质量的 YUV 或 RGB 图像。理解各内部模块的排列顺序与功能边界,是进行 ISP 参数在线调试与效果评估的基础。本章将逐一拆解 DPCC、BLS、LSC、AWB、CCM、Gamma、3DNR 等核心模块,并给出完整的硬件流水线框图。
2.1 DPCC(Defect Pixel Cluster Correction)—— 坏点簇校正
DPCC 模块位于 ISP 流水线的最前端,负责检测并修复传感器输出的 Bayer 数据中的坏点(Dead Pixel)与坏点簇(Cluster)。RK ISP 的 DPCC 支持静态坏点表与动态检测两种模式。
- 静态校正:预置坏点坐标表,直接替换为邻域像素插值。
- 动态校正:基于梯度与阈值判断异常像素,适用于温度漂移产生的新坏点。
- 簇处理:当连续多个像素异常时,启用中值滤波或均值滤波,避免单点校正失效。
2.2 BLS(Black Level Subtraction)—— 黑电平校正
BLS 模块从每个像素值中减去黑电平偏移量,消除传感器暗电流与 ADC 偏置带来的固定基底噪声。RK ISP 支持按通道(R/Gr/Gb/B)独立配置黑电平值。
| 通道 | 典型黑电平值(10bit) | 作用 |
|---|---|---|
| R | 64 | 校正红色通道暗电流 |
| Gr | 64 | 校正绿色(R行)通道 |
| Gb | 64 | 校正绿色(B行)通道 |
| B | 64 | 校正蓝色通道暗电流 |
BLS 参数直接影响暗部噪声水平与色彩还原精度。调优时需在完全遮光环境下采集 RAW 图,统计各通道最小值作为基准。
2.3 LSC(Lens Shading Correction)—— 镜头阴影校正
由于镜头的光学特性,图像边缘亮度通常低于中心(亮度阴影),且可能出现色彩偏移(色彩阴影)。LSC 模块通过增益矩阵对每个像素进行补偿。
- 增益网格:RK ISP 支持 17×17 或 33×33 网格,每个网格点存储 R/G/B 三通道增益系数。
- 插值方式:双线性插值或双三次插值,平衡精度与硬件开销。
- 校准流程:拍摄均匀灰卡(DNP 或 X-Rite),计算每个网格点的理想增益。
2.4 AWB(Auto White Balance)—— 自动白平衡
AWB 模块负责估计场景光源色温,并调整 R/G/B 增益使白色物体在不同光源下呈现中性白。RK ISP 的 AWB 包含统计引擎与校正引擎两部分。
- 统计引擎:将图像划分为 M×N 块,统计每块的 R/G、B/G 比值,映射到色温曲线。
- 校正引擎:根据估计色温计算 R 与 B 通道增益,G 通道通常固定为 1.0。
- 混合模式:支持全局 AWB 与局部 AWB(ROI 区域优先)。
2.5 CCM(Color Correction Matrix)—— 色彩校正矩阵
CCM 模块将传感器 RGB 色彩空间转换到标准色彩空间(如 sRGB、BT.709),通过 3×3 矩阵校正串扰与非线性响应。RK ISP 支持多组 CCM 系数,根据色温区间自动切换。
// CCM 矩阵示例(sRGB 目标)
[ R_out ] [ 1.85 -0.65 -0.20 ] [ R_in ]
[ G_out ] = [ -0.15 1.50 -0.35 ] [ G_in ]
[ B_out ] [ 0.05 -0.40 1.35 ] [ B_in ]
调优时需使用 24 色卡(ColorChecker)采集数据,通过最小二乘法拟合矩阵系数。CCM 系数过大会导致色彩过饱和或色阶断裂。
2.6 Gamma(Gamma Correction)—— 伽马校正
Gamma 模块对线性数据进行非线性映射,以匹配显示设备的亮度响应曲线(通常 Gamma=2.2)。RK ISP 支持 12bit 输入、10bit 输出的查找表(LUT),可自定义 256 个映射点。
- 标准 Gamma:输出 = 输入 ^ (1/2.2),适用于普通显示。
- 自定义 LUT:可针对暗部提亮或高光压缩,用于 HDR 或低光照场景。
- 分段线性:硬件资源受限时使用,精度略低于 LUT。
2.7 3DNR(3D Noise Reduction)—— 三维降噪
3DNR 模块结合时域滤波与空域滤波,在视频或连拍模式下利用帧间相关性抑制噪声。RK ISP 的 3DNR 包含运动检测与自适应强度控制。
| 降噪维度 | 原理 | 适用场景 |
|---|---|---|
| 时域(Temporal) | 当前帧与参考帧像素加权平均 | 静态场景、低光照 |
| 空域(Spatial) | 双边滤波或非局部均值 | 运动区域、边缘保护 |
| 混合(Hybrid) | 运动掩膜控制时域/空域权重 | 一般视频、监控 |
3DNR 参数包括时域衰减系数、空域强度、运动阈值。调优时需在动态场景与静态场景之间平衡,避免运动拖影或噪声残留。
2.8 模块协同与调优顺序
ISP 各模块之间存在强耦合关系,错误的调优顺序会导致效果反复。推荐以下调优路径:
- DPCC + BLS:先消除硬件固定噪声与坏点,确保输入数据干净。
- LSC:校正镜头阴影,避免亮度不均影响后续统计。
- AWB + CCM:在均匀光照下校准白平衡与色彩矩阵。
- Gamma:根据目标显示设备设定映射曲线。
- 3DNR:最后调整降噪强度,避免降噪掩盖其他模块的缺陷。