1. V4L2 框架概述

V4L2（Video for Linux 2）是 Linux 内核中视频设备驱动的标准框架，位于多媒体子系统（Media Subsystem）的核心层。它向上提供统一的字符设备接口（/dev/videoX），向下抽象摄像头、采集卡、编码器等硬件差异。理解 V4L2 在多媒体栈中的位置，是排查丢帧与延迟问题的第一步。

1.1 V4L2 在 Linux 多媒体子系统中的位置

Linux 多媒体子系统采用分层架构，V4L2 处于中间层，向下对接硬件驱动，向上服务用户空间应用（如 GStreamer、FFmpeg、OpenCV）。

1.2 核心数据结构

V4L2 框架围绕三个核心数据结构构建：video_device、vb2_queue 和 v4l2_device。它们之间的关系决定了驱动注册、缓冲区管理和设备文件操作的整个流程。

1.2.1 video_device

video_device 是 V4L2 框架对用户空间暴露的接口。驱动通过 video_register_device() 注册，内核自动创建 /dev/videoX 节点。其核心成员包括：

struct video_device {
    const struct v4l2_file_operations *fops;  // 文件操作回调
    const struct v4l2_ioctl_ops *ioctl_ops;   // ioctl 回调表
    struct device dev;                        // 内核设备模型
    struct v4l2_device *v4l2_dev;             // 所属顶层设备
    unsigned long flags;                      // 设备标志
    int minor;                                // 次设备号
    // ... 其他成员
};

1.2.2 vb2_queue

vb2_queue 是 videobuf2 框架的核心，负责缓冲区生命周期管理。它支持多种内存类型（MMAP、USERPTR、DMABUF），并提供标准化的入队/出队接口。

struct vb2_queue {
    enum v4l2_buf_type           type;         // 缓冲区类型（V4L2_BUF_TYPE_VIDEO_CAPTURE 等）
    unsigned int                 io_modes;     // 支持的 I/O 模式
    const struct vb2_ops         *ops;         // 驱动回调（queue_setup、buf_prepare、buf_queue 等）
    const struct vb2_mem_ops     *mem_ops;     // 内存操作（alloc、put、get_dmabuf 等）
    struct list_head             queued_list;  // 已入队等待处理的缓冲区列表
    struct list_head             done_list;    // 已完成等待出队的缓冲区列表
    spinlock_t                   done_lock;    // done_list 的自旋锁
    unsigned int                 num_buffers;  // 当前分配的缓冲区数量
    // ... 其他成员
};

1.3 驱动注册流程

V4L2 摄像头驱动的注册遵循固定步骤，从分配顶层设备到注册字符设备。以下流程图展示了标准注册路径：

1.4 驱动注册代码示例

以下是一个简化的 V4L2 摄像头驱动注册代码片段，展示了核心步骤的实现：

#include <media/v4l2-device.h>
#include <media/v4l2-dev.h>
#include <media/videobuf2-core.h>

static struct v4l2_device v4l2_dev;
static struct video_device vdev;
static struct vb2_queue queue;

// vb2_queue 回调实现
static int queue_setup(struct vb2_queue *q,
                       unsigned int *nbuffers,
                       unsigned int *nplanes,
                       unsigned int sizes[],
                       struct device *alloc_devs[])
{
    // 建议至少分配 4 个缓冲区，避免丢帧
    if (*nbuffers < 4)
        *nbuffers = 4;
    sizes[0] = 1920 * 1080 * 2; // YUYV 格式
    return 0;
}

static void buf_queue(struct vb2_buffer *vb)
{
    struct my_device *dev = vb2_get_drv_priv(vb->vb2_queue);
    // 将缓冲区加入硬件 DMA 链表
    // 注意：此函数可能在中断上下文调用，不能睡眠
    list_add_tail(&vb->queued_entry, &dev->dma_list);
    // 触发硬件开始传输
    start_dma(dev);
}

static const struct vb2_ops q_ops = {
    .queue_setup = queue_setup,
    .buf_queue   = buf_queue,
    // ... 其他回调
};

// 驱动 probe 函数
static int my_probe(struct platform_device *pdev)
{
    int ret;

    // 1. 注册 v4l2_device
    ret = v4l2_device_register(&pdev->dev, &v4l2_dev);
    if (ret < 0)
        return ret;

    // 2. 初始化 vb2_queue
    queue.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    queue.io_modes = VB2_MMAP | VB2_USERPTR;
    queue.ops = &q_ops;
    queue.mem_ops = &vb2_vmalloc_memops;
    queue.drv_priv = my_dev;
    ret = vb2_queue_init(&queue);
    if (ret < 0)
        goto err_queue;

    // 3. 初始化 video_device
    vdev.v4l2_dev = &v4l2_dev;
    vdev.queue = &queue;
    vdev.fops = &my_fops;
    vdev.ioctl_ops = &my_ioctl_ops;
    vdev.release = my_release;
    vdev.device_caps = V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_STREAMING;

    // 4. 注册 video_device
    ret = video_register_device(&vdev, VFL_TYPE_VIDEO, -1);
    if (ret < 0)
        goto err_vdev;

    return 0;

err_vdev:
    vb2_queue_release(&queue);
err_queue:
    v4l2_device_unregister(&v4l2_dev);
    return ret;
}

1.5 本章小结

• V4L2 定位： 位于多媒体子系统的中间层，向上提供字符设备接口，向下抽象硬件差异。
• 核心数据结构： video_device 负责设备文件注册，vb2_queue 负责缓冲区生命周期管理，v4l2_device 作为顶层容器。
• 注册流程： 严格遵循 v4l2_device → vb2_queue → video_device 的顺序，卸载时逆序释放。
• 丢帧关联： 缓冲区数量不足、buf_queue 阻塞、done_list 处理延迟是丢帧的三大内核路径根因。