2. V4L2 框架基础：Video for Linux 2 核心机制

V4L2（Video for Linux 2）是 Linux 内核中视频设备驱动的标准框架，为摄像头、视频采集卡、ISP 等设备提供统一的用户空间接口。理解 V4L2 的核心数据结构、ioctl 接口和 buffer 管理机制，是编写 ISP Pipeline 驱动的基石。

2.1 核心数据结构体系

V4L2 框架采用三层结构来管理视频设备：顶层 video_device 负责与用户空间交互，中间层 v4l2_device 作为设备实例的容器，底层 v4l2_subdev 管理子设备（如传感器、ISP 模块）。

2.1.1 video_device：用户空间接口

video_device 是 V4L2 框架中最上层的结构体，负责将视频设备注册为字符设备（如 /dev/video0），并实现 file_operations 和 v4l2_ioctl_ops 回调。

// include/media/v4l2-dev.h
struct video_device {
    const struct v4l2_file_operations *fops;  // 文件操作回调
    const struct v4l2_ioctl_ops *ioctl_ops;   // ioctl 命令处理
    struct device dev;                        // 内核设备结构
    struct v4l2_device *v4l2_dev;             // 指向所属 v4l2_device
    struct v4l2_ctrl_handler *ctrl_handler;   // 控制处理器
    unsigned long flags;                      // 设备标志
    int index;                                // 设备节点编号
    // ... 其他字段
};

2.1.2 v4l2_device：设备实例容器

v4l2_device 作为顶层设备实例，负责管理所有关联的 v4l2_subdev 子设备，并提供统一的注册/注销接口。

// include/media/v4l2-device.h
struct v4l2_device {
    struct device *dev;                       // 父设备指针
    struct list_head subdevs;                 // 子设备链表头
    spinlock_t lock;                          // 自旋锁
    char name[V4L2_DEVICE_NAME_SIZE];         // 设备名称
    // ... 其他字段
};

2.1.3 v4l2_subdev：子设备抽象

v4l2_subdev 是 V4L2 框架中最重要的抽象层，用于表示传感器、ISP 模块、CSI 接收器等硬件组件。每个 subdev 可以有自己的 v4l2_subdev_ops 回调集合。

// include/media/v4l2-subdev.h
struct v4l2_subdev {
    struct v4l2_device *v4l2_dev;             // 所属 v4l2_device
    struct module *owner;                     // 模块所有者
    const struct v4l2_subdev_ops *ops;        // 子设备操作回调
    const struct v4l2_subdev_internal_ops *internal_ops; // 内部操作
    struct v4l2_ctrl_handler *ctrl_handler;   // 子设备控制处理器
    struct device *dev;                       // 子设备对应的 struct device
    // ... 其他字段
};

2.2 ioctl 接口：用户态与内核态的桥梁

V4L2 通过 ioctl 系统调用实现用户态与内核驱动的交互。所有 ioctl 命令以 VIDIOC_ 为前缀，分为查询、设置、流控制、buffer 管理四大类。

2.2.1 核心 ioctl 命令分类

2.2.2 ioctl_ops 回调注册

驱动开发者需要实现 v4l2_ioctl_ops 结构体中的回调函数，并通过 video_device 的 ioctl_ops 字段注册。

static const struct v4l2_ioctl_ops isp_ioctl_ops = {
    .vidioc_querycap      = isp_vidioc_querycap,
    .vidioc_enum_fmt_vid_cap = isp_vidioc_enum_fmt,
    .vidioc_s_fmt_vid_cap = isp_vidioc_s_fmt,
    .vidioc_g_fmt_vid_cap = isp_vidioc_g_fmt,
    .vidioc_try_fmt_vid_cap = isp_vidioc_try_fmt,
    .vidioc_reqbufs       = isp_vidioc_reqbufs,
    .vidioc_querybuf      = isp_vidioc_querybuf,
    .vidioc_qbuf          = isp_vidioc_qbuf,
    .vidioc_dqbuf         = isp_vidioc_dqbuf,
    .vidioc_streamon      = isp_vidioc_streamon,
    .vidioc_streamoff     = isp_vidioc_streamoff,
};

2.3 Buffer 管理机制

V4L2 的 buffer 管理是视频采集性能的核心。框架支持三种 buffer 类型：V4L2_MEMORY_MMAP（内存映射）、V4L2_MEMORY_USERPTR（用户指针）和 V4L2_MEMORY_DMABUF（DMA buffer 共享）。ISP Pipeline 驱动通常使用 MMAP 或 DMABUF 模式。

2.3.1 buffer 类型对比

2.3.2 videobuf2 框架

现代 V4L2 驱动推荐使用 videobuf2 (VB2) 框架管理 buffer。VB2 封装了 buffer 分配、队列管理、内存映射等复杂逻辑，驱动只需实现 vb2_ops 回调。

// include/media/videobuf2-core.h
struct vb2_ops {
    int (*queue_setup)(struct vb2_queue *q,
                       unsigned int *num_buffers,
                       unsigned int *num_planes,
                       unsigned int sizes[],
                       struct device *alloc_devs[]);
    int (*buf_init)(struct vb2_buffer *vb);
    int (*buf_prepare)(struct vb2_buffer *vb);
    int (*buf_finish)(struct vb2_buffer *vb);
    void (*buf_cleanup)(struct vb2_buffer *vb);
    int (*start_streaming)(struct vb2_queue *q, unsigned int count);
    void (*stop_streaming)(struct vb2_queue *q);
    void (*buf_queue)(struct vb2_buffer *vb);  // 核心回调：buffer 入硬件队列
};

2.3.3 ISP Pipeline 中的 buffer 管理策略

在 ISP Pipeline 驱动中，buffer 管理需要特别关注以下问题：

1. 流水线深度：至少保持 3 个 buffer 在硬件队列中，避免 DMA 引擎空转。
2. 帧同步：使用硬件 VSYNC 中断触发 DQBUF 完成事件，保证帧序正确。
3. 缓存一致性：对于非 coherent DMA，在 buf_prepare 和 buf_finish 中调用 dma_sync_single_for_device/for_cpu。
4. 错误恢复：当硬件出错时，在 stop_streaming 中清空所有 buffer 并返回错误状态。

// ISP 驱动 VB2 buf_queue 回调示例
static void isp_buf_queue(struct vb2_buffer *vb)
{
    struct isp_device *isp = vb2_get_drv_priv(vb->vb2_queue);
    struct isp_buffer *buf = to_isp_buffer(vb);
    unsigned long flags;

    spin_lock_irqsave(&isp->dma_lock, flags);

    // 将 buffer 添加到硬件 DMA 环形队列尾部
    list_add_tail(&buf->list, &isp->dma_queue);

    // 如果 DMA 引擎空闲，立即启动传输
    if (isp->dma_active == NULL)
        isp_start_dma(isp);

    spin_unlock_irqrestore(&isp->dma_lock, flags);
}

// DMA 完成中断处理
static irqreturn_t isp_dma_done_irq(int irq, void *data)
{
    struct isp_device *isp = data;
    struct isp_buffer *done_buf;

    spin_lock(&isp->dma_lock);
    done_buf = isp->dma_active;
    isp->dma_active = NULL;

    // 从队列取出下一个 buffer 启动 DMA
    if (!list_empty(&isp->dma_queue)) {
        isp->dma_active = list_first_entry(&isp->dma_queue,
                                           struct isp_buffer, list);
        list_del(&isp->dma_active->list);
        isp_start_dma(isp);
    }
    spin_unlock(&isp->dma_lock);

    // 通知 VB2 框架 buffer 已完成
    vb2_buffer_done(&done_buf->vb, VB2_BUF_STATE_DONE);
    return IRQ_HANDLED;
}

2.4 本章小结

V4L2 框架为 ISP Pipeline 驱动提供了完整的基础设施：

• 三层数据结构：video_device（用户接口）、v4l2_device（设备容器）、v4l2_subdev（硬件抽象）形成清晰的层次结构。
• ioctl 接口：标准化的命令集覆盖了从能力查询到流控制的全部需求，驱动通过 v4l2_ioctl_ops 实现具体逻辑。
• Buffer 管理：videobuf2 框架简化了 buffer 生命周期管理，ISP 驱动只需关注硬件 DMA 队列的维护和中断处理。