1. RK平台概述

瑞芯微(Rockchip)在AIoT与视觉领域的布局以“端侧AI + 高画质ISP + 多Sensor接入”为核心。本章首先梳理RK主流芯片的定位差异,再给出Sensor驱动生态的全景视图,为后续RAW数据采集与性能调优建立平台级认知。

1.1 RK芯片系列在AIoT与视觉领域的定位

RK平台覆盖从轻量级IPC到高端边缘计算盒子的完整算力区间。下表列出三款最具代表性的视觉芯片及其核心指标:

芯片型号 制程 CPU NPU算力 ISP能力 典型视觉场景
RK356x 22nm 4×Cortex-A55 1 TOPS 单路4K ISP,支持HDR 智能门禁、轻量IPC、工业相机
RK3588 8nm 4×A76 + 4×A55 6 TOPS 多路8K ISP,三路Sensor同时输入 边缘计算盒子、多目摄像头、AI NVR
RV1106 22nm 1×Cortex-A7 0.5 TOPS 单路5M ISP,低功耗快速启动 电池IPC、门锁猫眼、低功耗视觉
选型要点: RK3588 的多路ISP与高算力适合多Sensor融合场景;RV1106 的<1W功耗与快速抓拍能力是电池类产品的首选;RK356x 则在成本与性能之间取得平衡,是工业视觉的“万金油”。

1.2 Sensor驱动生态概览

RK平台的Sensor驱动采用“V4L2 + Media Controller + Rockchip ISP”三层架构。驱动生态的核心组件如下:

  • V4L2子设备驱动: 每个Sensor对应一个V4L2子设备,实现s_power、s_fmt、enum_mbus_code等标准回调。
  • Rockchip ISP驱动: 位于drivers/media/platform/rockchip/isp/,负责RAW数据接收、AWB/AE统计、HDR合成等硬件加速。
  • Media Controller拓扑: 通过media-ctl工具动态配置Sensor→ISP→DMA的pipeline链路。
  • DTS配置: 在设备树中描述Sensor的I2C地址、时钟频率、电源时序、CSI接口类型(DVP/MIPI/LVDS)。
生态现状: RK官方维护了超过30款主流Sensor驱动(IMX系列、OV系列、GC系列),社区贡献的驱动可通过linux-rockchip邮件列表获取。驱动质量参差不齐,调优时需重点关注MIPI时钟稳定性和ISP tuning参数。

1.3 RK Sensor驱动软件架构图

下图展示从硬件Sensor到用户态ISP库的完整软件栈:

RK Sensor驱动软件架构图 CMOS Sensor IMX415 / OV5640 / GC2053 CSI接口 MIPI / DVP / LVDS RK SoC ISP + DMA + MIPI DPHY V4L2 Subdev s_power / s_fmt / g_mbus Media Controller pipeline 拓扑管理 Rockchip ISP驱动 RAW接收 / 统计 / HDR V4L2 Video Device /dev/video* 节点 DMA-BUF / V4L2 零拷贝数据通路 RKISP Tuning 3A算法参数接口 应用层 OpenCV / GStreamer / RKNN ISP库 libisp / lib3a / AIQ 调试工具 media-ctl / v4l2-ctl / rkisp_demo 说明:数据流从Sensor → CSI → ISP驱动 → V4L2 Video → 用户态ISP库,全程支持DMA-BUF零拷贝

1.4 驱动开发核心流程

在RK平台上新增一款Sensor驱动,通常遵循以下步骤:

  1. DTS配置: 在设备树中添加Sensor节点,指定I2C总线、复位GPIO、MIPI时钟频率、电源LDO。
  2. 驱动源码: 基于drivers/media/i2c/下的模板(如ov5640.c)实现struct v4l2_subdev_ops。
  3. MIPI时钟调优: 使用clk_summary确认MIPI DPHY时钟是否锁定,调整assigned-clock-rates。
  4. ISP tuning: 通过rkisp_demo工具采集RAW图,使用RK ISP Tuning Tool生成AWB/AE/CCM参数。
  5. 性能验证: 使用v4l2-ctl --stream-mmap测试帧率,perf top监控CPU占用。
常见陷阱:
  • MIPI时钟偏差导致图像撕裂 → 检查assigned-clock-rates是否与Sensor datasheet一致。
  • ISP统计队列溢出 → 增大rkisp驱动中的stats_buf_cnt参数。
  • Sensor电源时序错误 → 使用示波器测量DVDD/AVDD/IOVDD上电顺序。

1.5 本章小结

RK平台通过“V4L2 + Media Controller + Rockchip ISP”三层架构,实现了从Sensor到用户态ISP库的标准化数据通路。RK356x/RK3588/RV1106分别覆盖中端、高端、低功耗三大视觉场景。掌握芯片选型、驱动生态组件和DTS配置方法,是后续RAW数据采集性能调优的基础。