📚 课程目录第4章 Sensor驱动核心框架

4、Sensor驱动核心框架：V4L2框架详解、Video Device注册、Sub-device与Pad、Media Controller架构

做Sensor驱动，绕不开V4L2。说实话，我刚入行那会儿，看着V4L2的文档也是一头雾水。代码结构复杂，概念又多，什么Video Device、Sub-device、Pad，还有Media Controller，感觉像一团乱麻。

但后来我明白了。V4L2不是故意复杂，而是它要解决的问题本身就复杂。一个摄像头模组，里面有Sensor、有ISP、有MIPI接口，还可能带EEPROM和马达。这么多硬件单元，怎么在软件里把它们组织起来？V4L2就是干这个的。

这一章，我带你把这套框架拆开来看。你想想看，搞懂了它，以后写Sensor驱动，心里就有底了。

4.1 V4L2框架：从用户态到内核态

V4L2的全称是Video for Linux 2，它是Linux内核里处理视频设备的统一框架。说白了，它定义了一套标准接口，让应用程序可以像操作普通文件一样，去操作摄像头。

它的核心思想是分层。从上到下，大致分三层：

用户空间API层：提供open()、ioctl()、mmap()这些系统调用。应用程序通过/dev/videoX节点来访问设备。
V4L2核心层：内核里的videodev2模块。它负责解析用户传来的ioctl命令，然后调用驱动注册的回调函数。
具体设备驱动层：我们写的Sensor驱动就在这一层。它实现具体的硬件操作，比如配置寄存器、启动MIPI时钟。

我个人的习惯是，把V4L2想象成一个“中间人”。用户程序说“我要开始采集”，V4L2核心就把这个命令转给驱动，驱动再去操作Sensor。这样，用户程序就不用关心Sensor是OV的还是SONY的了。

核心数据结构：

驱动里最核心的结构体是struct video_device。它代表一个视频设备节点。你注册一个video_device，系统就会在/dev下生成一个videoX节点。

4.2 Video Device注册：让设备“现身”

注册一个Video Device，是Sensor驱动初始化的关键一步。这一步做完，用户空间才能看到你的设备。

流程其实不复杂，我总结成几个步骤：

分配并初始化video_device结构体：设置名字、ioctl回调、文件操作集等。
设置v4l2_device父设备：把Video Device挂到V4L2设备树上。
调用video_register_device()：向内核注册，生成设备节点。

这里有个坑，我曾经踩过。注册时有个参数叫type，它决定了设备节点的类型。Sensor一般用VFL_TYPE_VIDEO，但如果你做的是输出设备，就得用VFL_TYPE_VOUT。搞错了，应用程序打开设备时会报错。

// 一个典型的Sensor驱动注册示例
static struct video_device sensor_vdev = {
    .name = "sensor_driver",
    .fops = &sensor_fops,      // 文件操作集
    .ioctl_ops = &sensor_ioctl_ops, // ioctl回调
    .release = sensor_vdev_release,
};

static int sensor_probe(struct i2c_client *client) {
    struct sensor_dev *sensor = NULL;
    int ret;

    // ... 分配和初始化sensor结构体 ...

    // 设置v4l2_device
    sensor->v4l2_dev = &sensor_v4l2_device;
    sensor_vdev.v4l2_dev = &sensor_v4l2_device;
    sensor_vdev.queue = &sensor->queue; // 关联vb2队列

    // 注册Video Device
    ret = video_register_device(&sensor_vdev, VFL_TYPE_VIDEO, -1);
    if (ret < 0) {
        dev_err(&client->dev, "Failed to register video device\n");
        return ret;
    }

    dev_info(&client->dev, "Sensor video device registered as /dev/video%d\n",
             sensor_vdev.num);
    return 0;
}

小技巧：

注册时nr参数传-1，内核会自动分配一个空闲的节点号。如果你想让设备固定在某个节点，比如/dev/video0，可以传0。但要注意，如果0被占用了，注册会失败。

4.3 Sub-device与Pad：把Sensor拆开看

一个复杂的摄像头模组，光靠一个Video Device是不够的。你想想看，Sensor输出原始数据，ISP做处理，这些功能是独立的。V4L2引入了Sub-device的概念，就是为了解决这个问题。

Sub-device，说白了，就是“子设备”。一个Sensor可以是一个Sub-device，一个ISP也可以是一个Sub-device。每个Sub-device负责一个独立的功能块。

Pad呢？它是Sub-device上的“接口”。数据从Sensor的Pad流出来，经过ISP的Pad，最后到达Video Device。Pad分为三种：

Source Pad：数据输出口。
Sink Pad：数据输入口。
Internal Pad：内部接口，不对外连接。

我记得有一次调试一个多摄像头方案，两个Sensor共用一个ISP。如果没有Sub-device和Pad，代码会乱成一锅粥。但用这套框架，每个Sensor注册成一个Sub-device，ISP也注册成一个Sub-device，然后用Pad把它们连起来，逻辑就清晰多了。

Sub-device注册关键步骤：

初始化struct v4l2_subdev结构体。
实现struct v4l2_subdev_ops，包含core、video、pad等操作集。
调用v4l2_i2c_subdev_init()或v4l2_spi_subdev_init()初始化。
调用v4l2_device_register_subdev()注册到父设备。

4.4 Media Controller架构：画一张“数据流图”

当系统里有多个Sub-device时，怎么管理它们之间的连接关系？Media Controller就是干这个的。它提供了一种图结构，来描述硬件内部的数据通路。

你可以把Media Controller想象成一张“数据流图”。图中的节点是Entity（实体），对应Sub-device或Video Device。节点之间的连线是Link（链接），对应Pad之间的连接。数据从源节点出发，沿着Link流到目标节点。

为什么要用Media Controller？我举个例子。一个摄像头模组，Sensor输出是10位的，但ISP只支持8位。你需要在驱动里配置Sensor的裁剪或格式转换。如果没有Media Controller，你只能通过复杂的ioctl来配置。有了它，你可以通过设置Link的启用/禁用，或者配置Pad上的格式，来灵活控制数据流。

注意：

Media Controller不是必须的。如果你的系统只有一个Sensor和一个Video Device，没有复杂的内部连接，完全可以不用它。但如果你做的是多摄像头、多ISP的复杂系统，Media Controller就是你的救星。

下面这张图，是我画的一个典型Sensor驱动框架结构。你可以看到Video Device、Sub-device、Pad和Media Controller之间的关系。

4.5 它们是怎么配合的？

搞清楚了每个部分，我们来看看它们在实际中是怎么配合的。一个典型的Sensor驱动初始化流程是这样的：

步骤	操作	涉及组件
1	注册I2C设备，初始化硬件	I2C核心、Sensor硬件
2	初始化`v4l2_subdev`，注册Sub-device	V4L2核心、Sub-device
3	初始化`video_device`，注册Video Device	V4L2核心、Video Device
4	创建Media Entity和Pad，注册到Media Controller	Media Controller、Pad
5	建立Entity之间的Link	Media Controller
6	创建vb2队列，准备数据流	vb2、Video Device

你看，每一步都有明确的职责。Sub-device管硬件，Video Device管用户接口，Media Controller管拓扑。各司其职，互不干扰。

我的经验：

调试时，如果发现应用程序打开/dev/videoX失败，先检查video_register_device()的返回值。如果注册成功但无法打开，多半是fops里的open()回调没实现好。我曾经在这个问题上折腾了一下午，最后发现是忘了在open()里调用v4l2_fh_open()。

4.6 避坑指南：我踩过的几个坑

最后，分享几个我实际项目中踩过的坑，希望能帮你少走弯路。

坑一：Sub-device和Video Device的注册顺序。必须先注册Sub-device，再注册Video Device。因为Video Device注册时，可能会引用Sub-device的Pad信息。顺序反了，会导致内核崩溃。
坑二：Pad的索引号。每个Sub-device的Pad索引号必须从0开始连续编号。如果你跳过了某个索引，Media Controller在建立Link时会找不到对应的Pad。
坑三：Media Controller的Link状态。默认情况下，Link是禁用的。你需要显式调用media_create_pad_link()并设置flags为MEDIA_LNK_FL_ENABLED，数据才能流通。我刚开始做时，数据死活出不来，查了半天才发现是Link没启用。

嗯，V4L2框架的内容就讲到这里。这套框架虽然复杂，但只要你理解了Video Device、Sub-device、Pad和Media Controller这几个核心概念，再配合实际的代码调试，很快就能上手。记住，框架是死的，硬件是活的。灵活运用这些组件，才能写出健壮的Sensor驱动。