3. 摄像头驱动开发：V4L2框架详解与多摄像头同步采集

摄像头驱动开发，说白了就是让操作系统认识你的摄像头。在Linux平台上，V4L2（Video for Linux 2）就是那个标准接口。我刚开始接触V4L2时也觉得它挺绕的，但摸清楚它的套路后，你会发现它其实很规整。

3.1 V4L2框架核心概念

V4L2不是驱动本身，而是一套内核框架。它定义了摄像头设备怎么暴露给用户空间，用户程序又怎么控制摄像头。我个人习惯把V4L2理解成三层结构：

• 底层：硬件驱动层，直接操作摄像头传感器和ISP
• 中间层：V4L2核心框架，提供统一的设备模型和控制接口
• 上层：用户空间API，通过open/close/ioctl与驱动交互

3.2 摄像头设备节点注册

摄像头在Linux里表现为/dev/videoX设备节点。这个节点是怎么来的？驱动加载时，V4L2框架会帮你注册。我见过不少新手直接去/dev目录下找，其实节点注册的流程在内核里：

1. 驱动调用video_register_device()，传入v4l2_device结构体
2. V4L2核心分配主设备号81，次设备号递增
3. udev根据设备信息在/dev下创建video0、video1等节点

3.3 ioctl控制命令详解

ioctl是V4L2的灵魂。所有控制操作——查询能力、设置格式、申请缓冲区、开始/停止采集——都通过它完成。常用的ioctl命令我整理了一张表：

命令	功能	数据结构	使用阶段
VIDIOC_QUERYCAP	查询设备能力	struct v4l2_capability	初始化
VIDIOC_ENUM_FMT	枚举支持的格式	struct v4l2_fmtdesc	初始化
VIDIOC_S_FMT	设置图像格式	struct v4l2_format	配置
VIDIOC_REQBUFS	申请缓冲区	struct v4l2_requestbuffers	配置
VIDIOC_QBUF	入队缓冲区	struct v4l2_buffer	运行
VIDIOC_DQBUF	出队缓冲区	struct v4l2_buffer	运行
VIDIOC_STREAMON	开始采集	枚举类型	运行
VIDIOC_STREAMOFF	停止采集	枚举类型	停止

3.4 图像格式配置：YUYV / MJPEG / RAW

摄像头输出的图像格式，直接决定了后续处理流程。三种主流格式各有优劣：

• YUYV：YUV 4:2:2打包格式，每个像素16位。优点是解码简单，缺点是带宽占用大。适合低分辨率或实时性要求高的场景。
• MJPEG：Motion JPEG，每帧独立JPEG压缩。带宽小，但解码需要CPU。我曾在树莓派上用MJPEG跑1080p@30fps，CPU占用率直接飙到70%。
• RAW：传感器原始数据，Bayer格式。数据量最大，但保留了最完整的图像信息。适合做ISP后处理或AI前处理。

配置格式的代码片段如下：

struct v4l2_format fmt;
memset(&fmt, 0, sizeof(fmt));
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.width = 1920;
fmt.fmt.pix.height = 1080;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;  // 或 V4L2_PIX_FMT_MJPEG / V4L2_PIX_FMT_SBGGR8
fmt.fmt.pix.field = V4L2_FIELD_NONE;

if (ioctl(fd, VIDIOC_S_FMT, &fmt) < 0) {
    perror("VIDIOC_S_FMT");
    exit(1);
}

3.5 多摄像头同步采集

多摄像头同步，是嵌入式视觉里最头疼的问题之一。为什么难？因为每个摄像头有自己的时钟域，启动时间也有微小差异。我做过一个双目视觉项目，两个摄像头采集到的帧时间戳差了20ms，导致深度计算完全不准。

同步采集的几种方案：

方案	原理	精度	适用场景
硬件触发同步	外部GPIO或PWM信号同时触发所有摄像头	微秒级	工业相机、双目视觉
软件时间戳对齐	采集后根据时间戳匹配最近帧	毫秒级	监控系统、多视角录制
帧缓冲池同步	所有摄像头共享一个缓冲池，驱动层同步	亚帧级	高端嵌入式平台

软件同步的典型做法：

// 伪代码：多摄像头帧同步
while (running) {
    for (int i = 0; i < num_cams; i++) {
        struct v4l2_buffer buf;
        ioctl(fds[i], VIDIOC_DQBUF, &buf);
        frames[i] = buf;
        ioctl(fds[i], VIDIOC_QBUF, &buf);
    }
    // 根据 frames[].timestamp 对齐
    // 丢弃时间差超过阈值的帧
}

3.6 实战：V4L2采集完整流程

把上面所有知识点串起来，一个标准的V4L2采集流程是这样的：

1. 打开设备：open("/dev/video0", O_RDWR)
2. 查询能力：VIDIOC_QUERYCAP，确认是视频采集设备
3. 设置格式：VIDIOC_S_FMT，配置分辨率、像素格式
4. 申请缓冲区：VIDIOC_REQBUFS，通常申请3-4个缓冲区
5. 映射缓冲区：mmap，把内核缓冲区映射到用户空间
6. 入队所有缓冲区：VIDIOC_QBUF，把空缓冲区交给驱动
7. 开始采集：VIDIOC_STREAMON
8. 循环出队/处理/入队：DQBUF → 处理 → QBUF
9. 停止采集：VIDIOC_STREAMOFF
10. 释放资源：munmap，close