RKISP驱动框架入门：V4L2框架基础、Media Controller框架、RKISP驱动源码结构

大家好，欢迎来到RKISP驱动开发的第二讲。今天我们要聊的，是驱动开发中最基础、也最绕不开的三个东西：V4L2、Media Controller，还有RKISP的源码长什么样。

说实话，我刚接触RKISP的时候，第一反应是——这代码怎么这么多文件夹？后来慢慢啃下来才发现，其实它的骨架非常清晰。今天我就带大家把这个骨架摸一遍。

一、V4L2框架基础——视频设备驱动的“普通话”

V4L2，全称Video for Linux 2，是Linux内核里处理视频设备的统一框架。说白了，它就是摄像头驱动的“普通话”。不管你用的是USB摄像头、MIPI摄像头，还是ISP处理后的视频流，最终都要通过V4L2接口暴露给用户空间。

我个人习惯把V4L2理解成三层：

• 底层：硬件驱动层，负责和具体的传感器、ISP硬件打交道。
• 中间层：V4L2核心框架，提供统一的ioctl、buffer管理、队列机制。
• 上层：用户空间通过/dev/videoX节点访问，用ioctl控制，用mmap拿数据。

嗯，这里要注意一个关键点：V4L2不仅仅管“视频采集”，它还管输出、overlay、裁剪、缩放等等。但在RKISP的场景下，我们主要关心的是视频采集（capture）这一块。

我在项目中遇到过一个问题：用户空间的应用程序调用VIDIOC_STREAMON后，驱动没有启动DMA传输。查了半天，发现是vb2_ops里的start_streaming回调没实现。你看，V4L2的框架虽然封装得好，但每个回调函数都得你自己填。

二、Media Controller框架——把“管道”画清楚

V4L2解决了单个设备节点的控制问题，但RKISP内部有多个模块：ISP输入、ISP处理、统计信息、参数配置……它们之间怎么连接？这时候就需要Media Controller了。

Media Controller框架，说白了就是一个图结构。每个硬件模块是一个entity（实体），实体之间有pad（端口），通过link（链接）连接起来。用户空间可以通过/dev/mediaX节点，动态配置这些连接。

你想想看，如果没有Media Controller，你要怎么告诉驱动“现在把传感器数据送到ISP的输入端口”？靠写死？那换一个传感器就得改驱动。有了Media Controller，用户空间可以灵活地设置路由。

media-ctl -d /dev/media0 -p

Media Controller的核心数据结构：

• struct media_device：代表一个media设备
• struct media_entity：代表一个硬件模块
• struct media_pad：实体的端口
• struct media_link：实体之间的连接

在RKISP驱动里，你会看到类似这样的初始化代码：

static const struct media_entity_operations isp_media_ops = {
    .link_setup = isp_link_setup,
    .link_validate = isp_link_validate,
};

这里的link_setup回调，就是当用户空间通过MEDIA_IOC_SETUP_LINK配置连接时，驱动要执行的动作。比如使能某个硬件通路、配置时钟等。

三、RKISP驱动源码结构——别被文件夹吓到

好，现在我们来解剖RKISP的源码。路径是：drivers/media/platform/rockchip/isp1/。我第一次打开这个目录时，看到十几个.c文件，心里有点发怵。但后来发现，其实就几个核心模块。

我画了一张图，帮你快速建立整体认知：

从上图你可以看到，RKISP驱动大致分为四层：

1. 核心层：负责设备注册、V4L2和Media Controller的初始化。这是驱动的入口。
2. ISP处理模块：控制ISP的pipeline，比如配置输入格式、使能各个处理阶段。
3. 参数与统计模块：这是RKISP的特色。用户空间通过/dev/videoX下发3A参数（自动曝光、自动白平衡等），ISP处理完后，通过统计节点把结果返回。说白了，这就是一个“命令-反馈”通道。
4. 捕获与输出模块：负责把ISP处理完的图像数据，通过DMA送到内存，然后通过V4L2的/dev/videoX节点交给用户空间。

我们来看一个具体的文件——rkisp1.c，它是驱动的核心入口。里面有一个关键函数：

static int rkisp1_probe(struct platform_device *pdev)
{
    struct rkisp1_device *isp_dev;
    int ret;

    // 1. 分配设备结构体
    isp_dev = devm_kzalloc(&pdev->dev, sizeof(*isp_dev), GFP_KERNEL);
    if (!isp_dev)
        return -ENOMEM;

    // 2. 初始化V4L2设备
    ret = v4l2_device_register(&pdev->dev, &isp_dev->v4l2_dev);
    if (ret)
        return ret;

    // 3. 初始化Media Controller设备
    isp_dev->media_dev.dev = &pdev->dev;
    strscpy(isp_dev->media_dev.model, "rkisp1", sizeof(isp_dev->media_dev.model));
    media_device_init(&isp_dev->media_dev);

    // 4. 注册各个子模块（ISP、参数、捕获等）
    rkisp1_isp_register(isp_dev);
    rkisp1_params_register(isp_dev);
    rkisp1_stats_register(isp_dev);
    rkisp1_capture_register(isp_dev);

    // 5. 注册Media Controller设备
    ret = media_device_register(&isp_dev->media_dev);
    if (ret)
        goto err_unreg;

    return 0;
    // ... 错误处理省略
}

你看，这个probe函数把整个驱动的初始化流程串起来了。先注册V4L2，再初始化Media Controller，然后注册各个子模块。顺序很重要——如果先注册子模块再注册Media Controller，拓扑结构可能就不完整。

四、小结一下

今天的内容，说白了就是三件事：

• V4L2是视频设备驱动的标准接口，你写的驱动最终要通过它和用户空间对话。
• Media Controller是pipeline的“地图”，让用户空间可以灵活配置数据流路径。
• RKISP源码结构分为核心层、ISP处理、参数统计、捕获输出、硬件抽象五个部分，每个部分各司其职。

我个人觉得，理解这三个框架，是入门RKISP驱动开发的第一道坎。跨过去之后，后面看代码就会顺畅很多。下一讲我们会深入rkisp1-isp.c，看看ISP pipeline到底是怎么配置的。嗯，今天就到这里。