1. V4L2 框架概述

1.1 V4L2 在 Linux 多媒体子系统中的位置

V4L2（Video for Linux 2）是 Linux 内核中负责视频设备驱动的标准框架，位于多媒体子系统的核心层。它向上提供统一的系统调用接口（主要是 ioctl），向下抽象各类视频硬件（摄像头、电视调谐器、编解码器等）。

在 Linux 多媒体软件栈中，V4L2 处于中间枢纽位置：

• 用户空间：应用程序（如 GStreamer、FFmpeg、VLC）通过 /dev/videoX 设备节点调用 V4L2 ioctl。
• 内核空间：V4L2 框架将标准 ioctl 分派到具体驱动的回调函数。
• 硬件层：驱动通过 V4L2 框架操作摄像头传感器、ISP、视频编解码器等硬件。

1.2 核心数据结构总览

V4L2 框架围绕三个核心数据结构构建：video_device、v4l2_device 和 v4l2_fh。它们之间的关系决定了驱动如何注册、用户如何访问、ioctl 如何路由。

1.3 video_device：设备节点的核心

video_device 是 V4L2 框架中最外层的结构体，它负责将用户空间的 ioctl 调用分派到驱动实现的回调函数。每个 video_device 对应一个字符设备节点（如 /dev/video0）。

关键成员：

• fops：指向 v4l2_file_operations 结构体，包含 open、release、ioctl、mmap、poll 等回调。
• v4l2_dev：指向所属的 v4l2_device 实例。
• ctrl_handler：控制处理器，管理 V4L2 控制（如亮度、对比度）。
• queue：指向 vb2_queue，管理视频缓冲区队列。
• minor / num：设备节点编号。

// include/media/v4l2-dev.h (简化核心字段)
struct video_device {
    const struct v4l2_file_operations *fops;   // 文件操作回调表
    struct v4l2_device *v4l2_dev;              // 所属顶层设备
    struct v4l2_ctrl_handler *ctrl_handler;    // 控制处理器
    struct vb2_queue *queue;                   // 视频缓冲队列
    int minor;                                 // 次设备号
    unsigned long flags;                       // 设备标志
    char name[32];                             // 设备名称
    // ... 其他字段
};

1.4 v4l2_device：顶层设备容器

v4l2_device 是整个 V4L2 驱动的顶层管理结构。它聚合了所有子设备（v4l2_subdev）和 video_device 实例，提供统一的注册、注销和通知机制。

关键职责：

• 管理子设备链表，支持子设备的热插拔。
• 提供 notify 回调，用于子设备与主控驱动通信。
• 作为 device 指针的载体，关联到内核设备模型。

// include/media/v4l2-device.h (简化核心字段)
struct v4l2_device {
    struct device *dev;                        // 关联的内核 device 结构
    struct list_head subdevs;                  // 子设备链表头
    spinlock_t lock;                           // 保护子设备链表
    void (*notify)(struct v4l2_subdev *sd,    // 子设备通知回调
                   unsigned int notification,
                   void *arg);
    char name[36];                             // 设备名称
    // ... 其他字段
};

1.5 v4l2_fh：文件句柄上下文

v4l2_fh（V4L2 File Handle）是每个 open() 调用创建的上下文结构。它让驱动能够区分同时打开同一设备的多个用户空间进程，并独立管理每个会话的状态。

关键成员：

• vdev：指向所属的 video_device。
• ctrl_handler：每个文件句柄独立的控制处理器，支持控制值的隔离。
• prio：当前文件句柄的优先级（V4L2 优先级模型）。
• events：事件订阅链表，用于 V4L2 事件机制。
• wait：等待队列，用于 poll 和事件等待。

// include/media/v4l2-fh.h (简化核心字段)
struct v4l2_fh {
    struct list_head list;                     // 挂入 video_device 的 fh 链表
    struct video_device *vdev;                 // 所属 video_device
    struct v4l2_ctrl_handler *ctrl_handler;    // 独立控制处理器
    enum v4l2_priority prio;                   // 当前优先级
    struct list_head available;                // 可用事件链表
    struct list_head subscribed;               // 已订阅事件链表
    wait_queue_head_t wait;                    // 事件等待队列
    // ... 其他字段
};

1.6 三大数据结构的关系

下图展示了 v4l2_device、video_device 和 v4l2_fh 之间的组织关系：

1.7 数据结构初始化流程

在驱动加载时，三个核心结构的初始化顺序至关重要：

1. 先注册 v4l2_device：调用 v4l2_device_register()，传入父 device 指针。
2. 再注册 video_device：调用 video_register_device()，指定 v4l2_dev 和 fops。
3. 在 open() 回调中创建 v4l2_fh：调用 v4l2_fh_init() 和 v4l2_fh_add()。

// 典型驱动初始化伪代码
static int my_probe(struct platform_device *pdev)
{
    struct v4l2_device *v4l2_dev;
    struct video_device *vdev;

    // 1. 分配并注册 v4l2_device
    v4l2_dev = devm_kzalloc(&pdev->dev, sizeof(*v4l2_dev), GFP_KERNEL);
    v4l2_device_register(&pdev->dev, v4l2_dev);

    // 2. 分配并初始化 video_device
    vdev = devm_kzalloc(&pdev->dev, sizeof(*vdev), GFP_KERNEL);
    vdev->v4l2_dev = v4l2_dev;
    vdev->fops = &my_fops;
    video_register_device(vdev, VFL_TYPE_VIDEO, -1);

    return 0;
}

static int my_open(struct file *file)
{
    struct video_device *vdev = video_devdata(file);
    struct v4l2_fh *fh;

    // 3. 创建并初始化 v4l2_fh
    fh = kzalloc(sizeof(*fh), GFP_KERNEL);
    v4l2_fh_init(fh, vdev);
    v4l2_fh_add(fh);
    file->private_data = fh;

    return 0;
}

1.8 本章小结

• V4L2 框架位于 Linux 多媒体子系统的中间层，向上提供标准 ioctl 接口，向下抽象硬件驱动。
• video_device：设备节点核心，封装 fops 回调表，负责 ioctl 分派。
• v4l2_device：顶层容器，管理子设备和 video_device 实例。
• v4l2_fh：文件句柄上下文，隔离不同进程的状态，是 ftrace 跟踪 ioctl 时区分会话的关键。
• 三个结构的初始化顺序为：v4l2_device → video_device → v4l2_fh（在 open 时创建）。