4. V4L2框架基础

V4L2（Video for Linux 2）是Linux内核中视频设备驱动的标准框架，也是RK平台Sensor驱动与ISP交互的核心通道。理解V4L2的三大核心数据结构——video_device、v4l2_device、v4l2_subdev——及其注册流程，是进行RAW数据采集性能调优的前提。

4.1 三大核心数据结构概览

下表从角色、职责、关键成员三个维度对比了V4L2的三大核心数据结构：

4.2 v4l2_device：顶层管理容器

v4l2_device是整个V4L2设备树的根节点。在RK平台上，通常由ISP驱动或Video Capture驱动在 probe 阶段创建并注册。

// 分配与初始化
struct v4l2_device *v4l2_dev;
v4l2_dev = devm_kzalloc(dev, sizeof(*v4l2_dev), GFP_KERNEL);
v4l2_device_init(v4l2_dev, dev);

// 注册（通常在父设备 probe 中完成）
v4l2_device_register(subdev_dev, v4l2_dev);

4.3 video_device：用户空间接口

video_device是用户空间与内核驱动交互的桥梁。每个video_device对应一个/dev/videoX节点。在RK RAW数据采集场景中，这个节点通常对应ISP的Capture通道。

// 定义文件操作集
static const struct v4l2_file_operations rkisp_fops = {
    .owner      = THIS_MODULE,
    .open       = rkisp_fop_open,
    .release    = rkisp_fop_release,
    .unlocked_ioctl = video_ioctl2,
    .mmap       = rkisp_mmap,
    .poll       = rkisp_poll,
};

// 分配与初始化 video_device
struct video_device *vdev;
vdev = video_device_alloc();
vdev->fops     = &rkisp_fops;
vdev->v4l2_dev = &isp->v4l2_dev;
vdev->queue    = &isp->vb2_queue;
vdev->device_caps = V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_STREAMING;

// 注册 video_device
video_register_device(vdev, VFL_TYPE_VIDEO, -1);

4.4 v4l2_subdev：硬件组件抽象

v4l2_subdev是V4L2框架中最灵活的数据结构，用于抽象Camera Sensor、MIPI D-PHY、AF马达等硬件组件。在RK平台上，Sensor驱动通常实现为v4l2_subdev，并通过media_entity与ISP的Capture Subdev连接。

// 定义 subdev 操作函数集
static const struct v4l2_subdev_video_ops sensor_video_ops = {
    .s_stream = sensor_s_stream,   // 启动/停止流
    .g_frame_interval = sensor_g_frame_interval,
    .s_frame_interval = sensor_s_frame_interval,
};

static const struct v4l2_subdev_core_ops sensor_core_ops = {
    .s_power = sensor_s_power,     // 电源管理
};

static const struct v4l2_subdev_ops sensor_ops = {
    .core  = &sensor_core_ops,
    .video = &sensor_video_ops,
};

// 初始化 subdev
struct v4l2_subdev *sd;
v4l2_subdev_init(sd, &sensor_ops);
sd->entity.function = MEDIA_ENT_F_CAM_SENSOR;
snprintf(sd->name, sizeof(sd->name), "%s %s", dev->driver->name, dev_name(dev));

// 注册 subdev 到 v4l2_device
v4l2_device_register_subdev(v4l2_dev, sd);

4.5 注册流程与媒体拓扑

在RK平台上，V4L2设备的注册遵循“自底向上”的顺序：先注册v4l2_device，再注册v4l2_subdev，最后注册video_device。同时，通过media_entity和media_pad建立设备间的数据流拓扑。

// 创建 media link：Sensor -> ISP
struct media_pad *source_pad = &sensor_sd->entity.pads[0]; // Sensor 输出 pad
struct media_pad *sink_pad   = &isp_sd->entity.pads[0];   // ISP 输入 pad
media_create_pad_link(&sensor_sd->entity, 0,
                      &isp_sd->entity, 0, 0);

4.6 核心数据结构关系图

下图展示了V4L2三大核心数据结构在RK平台上的组织关系与注册流程：

4.7 注册流程关键步骤

在RK平台上，完整的V4L2设备注册流程分为以下四个阶段：

1. 阶段一：v4l2_device 注册 — 由ISP驱动或Video Capture驱动在 probe 中调用 v4l2_device_register()，创建顶层管理容器。
2. 阶段二：v4l2_subdev 注册 — Sensor驱动、MIPI D-PHY驱动等调用 v4l2_device_register_subdev() 将自身挂接到 v4l2_device 的 subdevs 链表。
3. 阶段三：media link 建立 — 通过 media_create_pad_link() 在Sensor Subdev的输出Pad与ISP Subdev的输入Pad之间建立数据流连接。
4. 阶段四：video_device 注册 — ISP Capture驱动调用 video_register_device() 创建 /dev/videoX 节点，并关联 vb2_queue 用于RAW数据缓冲区管理。

4.8 数据结构对比总结