1. RK平台概述
瑞芯微(Rockchip)在AIoT与视觉领域的布局以“端侧AI + 高画质ISP + 多Sensor接入”为核心。本章首先梳理RK主流芯片的定位差异,再给出Sensor驱动生态的全景视图,为后续RAW数据采集与性能调优建立平台级认知。
1.1 RK芯片系列在AIoT与视觉领域的定位
RK平台覆盖从轻量级IPC到高端边缘计算盒子的完整算力区间。下表列出三款最具代表性的视觉芯片及其核心指标:
| 芯片型号 | 制程 | CPU | NPU算力 | ISP能力 | 典型视觉场景 |
|---|---|---|---|---|---|
| RK356x | 22nm | 4×Cortex-A55 | 1 TOPS | 单路4K ISP,支持HDR | 智能门禁、轻量IPC、工业相机 |
| RK3588 | 8nm | 4×A76 + 4×A55 | 6 TOPS | 多路8K ISP,三路Sensor同时输入 | 边缘计算盒子、多目摄像头、AI NVR |
| RV1106 | 22nm | 1×Cortex-A7 | 0.5 TOPS | 单路5M ISP,低功耗快速启动 | 电池IPC、门锁猫眼、低功耗视觉 |
选型要点: RK3588 的多路ISP与高算力适合多Sensor融合场景;RV1106 的<1W功耗与快速抓拍能力是电池类产品的首选;RK356x 则在成本与性能之间取得平衡,是工业视觉的“万金油”。
1.2 Sensor驱动生态概览
RK平台的Sensor驱动采用“V4L2 + Media Controller + Rockchip ISP”三层架构。驱动生态的核心组件如下:
- V4L2子设备驱动: 每个Sensor对应一个V4L2子设备,实现
s_power、s_fmt、enum_mbus_code等标准回调。 - Rockchip ISP驱动: 位于
drivers/media/platform/rockchip/isp/,负责RAW数据接收、AWB/AE统计、HDR合成等硬件加速。 - Media Controller拓扑: 通过
media-ctl工具动态配置Sensor→ISP→DMA的pipeline链路。 - DTS配置: 在设备树中描述Sensor的I2C地址、时钟频率、电源时序、CSI接口类型(DVP/MIPI/LVDS)。
生态现状: RK官方维护了超过30款主流Sensor驱动(IMX系列、OV系列、GC系列),社区贡献的驱动可通过
linux-rockchip邮件列表获取。驱动质量参差不齐,调优时需重点关注MIPI时钟稳定性和ISP tuning参数。
1.3 RK Sensor驱动软件架构图
下图展示从硬件Sensor到用户态ISP库的完整软件栈:
1.4 驱动开发核心流程
在RK平台上新增一款Sensor驱动,通常遵循以下步骤:
- DTS配置: 在设备树中添加Sensor节点,指定I2C总线、复位GPIO、MIPI时钟频率、电源LDO。
- 驱动源码: 基于
drivers/media/i2c/下的模板(如ov5640.c)实现struct v4l2_subdev_ops。 - MIPI时钟调优: 使用
clk_summary确认MIPI DPHY时钟是否锁定,调整assigned-clock-rates。 - ISP tuning: 通过
rkisp_demo工具采集RAW图,使用RK ISP Tuning Tool生成AWB/AE/CCM参数。 - 性能验证: 使用
v4l2-ctl --stream-mmap测试帧率,perf top监控CPU占用。
常见陷阱:
- MIPI时钟偏差导致图像撕裂 → 检查
assigned-clock-rates是否与Sensor datasheet一致。 - ISP统计队列溢出 → 增大
rkisp驱动中的stats_buf_cnt参数。 - Sensor电源时序错误 → 使用示波器测量DVDD/AVDD/IOVDD上电顺序。
1.5 本章小结
RK平台通过“V4L2 + Media Controller + Rockchip ISP”三层架构,实现了从Sensor到用户态ISP库的标准化数据通路。RK356x/RK3588/RV1106分别覆盖中端、高端、低功耗三大视觉场景。掌握芯片选型、驱动生态组件和DTS配置方法,是后续RAW数据采集性能调优的基础。