第三章 鱼眼相机驱动与图像采集：V4L2框架解析、相机驱动适配、图像采集与色彩空间转换

各位同学，欢迎来到第三章。这一章我们直接切入车载感知系统的“眼睛”——鱼眼相机。你想想看，环视系统、自动泊车、车道线检测，哪个离得开它？但要把图像数据从硬件里“抠”出来，送到算法手里，中间有一整套驱动和采集流程。今天我们就把它彻底讲透。

3.1 V4L2框架：Linux下的视频采集“通用语言”

V4L2，全称 Video for Linux 2，是 Linux 内核里处理视频设备的标准框架。说白了，它就是一套统一的 API，让你不用管底层是 USB 摄像头还是 MIPI 接口的鱼眼相机，上层代码都能用同一套逻辑去操作。

我个人习惯把 V4L2 的核心流程总结为四个步骤：打开设备、配置格式、申请缓冲区、启动流。嗯，这里要注意，每一步都有坑。

3.1.1 核心数据结构

先看几个你一定会打交道的结构体：

3.1.2 标准操作流程

我直接给你一个伪代码框架，这是我在多个项目里反复使用的模板：

// 1. 打开设备
int fd = open("/dev/video0", O_RDWR);

// 2. 查询能力
struct v4l2_capability cap;
ioctl(fd, VIDIOC_QUERYCAP, &cap);

// 3. 设置格式
struct v4l2_format fmt;
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.width = 1920;
fmt.fmt.pix.height = 1080;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV; // 鱼眼相机常见输出
fmt.fmt.pix.field = V4L2_FIELD_NONE;
ioctl(fd, VIDIOC_S_FMT, &fmt);

// 4. 申请缓冲区
struct v4l2_requestbuffers req;
req.count = 4;  // 我一般用4个缓冲区做乒乓操作
req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
req.memory = V4L2_MEMORY_MMAP;
ioctl(fd, VIDIOC_REQBUFS, &req);

// 5. 映射缓冲区到用户空间
// 循环调用 VIDIOC_QUERYBUF + mmap

// 6. 入队所有缓冲区
// 循环调用 VIDIOC_QBUF

// 7. 开始采集
int type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
ioctl(fd, VIDIOC_STREAMON, &type);

// 8. 循环出队-处理-入队
while (running) {
    struct v4l2_buffer buf;
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    ioctl(fd, VIDIOC_DQBUF, &buf);  // 出队

    // 处理图像数据...
    process_image(buffers[buf.index]);

    ioctl(fd, VIDIOC_QBUF, &buf);   // 重新入队
}

3.2 相机驱动适配：让鱼眼相机“开口说话”

V4L2 是通用框架，但具体到某个鱼眼相机，驱动适配才是真正的硬骨头。我在项目中遇到过一款 OV 的鱼眼 sensor，默认输出是 RAW10 格式，但我们的 ISP 只接受 YUV。折腾了两天才发现是驱动里一个寄存器配置错了。

3.2.1 驱动适配的关键点

• 设备树配置： 对于嵌入式平台（如 i.MX8、Jetson），需要在设备树中正确描述 sensor 的 I2C 地址、复位引脚、时钟频率等。
• 初始化序列： 鱼眼 sensor 上电后需要写入一串寄存器配置，包括输出分辨率、帧率、增益模式等。这部分通常由 sensor 厂商提供。
• MIPI CSI-2 配置： 鱼眼相机通常通过 MIPI 接口传输数据。需要配置 lane 数（一般是 2-lane 或 4-lane）、数据速率、时钟极性等。

3.2.2 常见问题排查

我曾经在调试一个环视项目时，图像一直偏绿。查了半天，发现是驱动里把色彩矩阵的 R 和 B 通道写反了。嗯，这种低级错误最容易让人抓狂。

3.3 图像采集实战：从驱动到内存

驱动适配好了，接下来就是如何高效地把图像数据从内核空间搬到用户空间。这里我重点讲两种方式：MMAP 和 DMABUF。

3.3.1 MMAP 方式

这是最常用的方式。通过 mmap 系统调用，把内核空间的 DMA 缓冲区映射到用户空间，省去了数据拷贝的开销。

// 查询缓冲区信息
struct v4l2_buffer buf;
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
buf.index = i;
ioctl(fd, VIDIOC_QUERYBUF, &buf);

// 映射到用户空间
buffers[i].length = buf.length;
buffers[i].start = mmap(NULL, buf.length,
                        PROT_READ | PROT_WRITE,
                        MAP_SHARED,
                        fd, buf.m.offset);

3.3.2 DMABUF 方式

如果你在做零拷贝流水线（比如直接送给 GPU 或 ISP），DMABUF 是更好的选择。它通过文件描述符传递缓冲区，避免了 MMAP 的额外映射开销。

3.4 色彩空间转换：YUV 转 RGB

鱼眼相机输出的原始数据大多是 YUV 格式（如 YUYV、NV12），但我们的算法（尤其是深度学习模型）通常需要 RGB 输入。所以，色彩空间转换是绕不开的一步。

3.4.1 YUV 格式简介

YUV 把亮度信息（Y）和色度信息（U/V）分开存储。常见的打包格式有：

• YUYV： 每个像素都有 Y，每两个像素共享一组 UV。内存布局为 Y0 U0 Y1 V0。
• NV12： 所有 Y 数据连续存储，然后是一块 UV 交错数据。这是很多硬件编码器喜欢的格式。

3.4.2 转换公式与实现

标准的 YUV 转 RGB 公式如下（BT.601 标准）：

R = Y + 1.402 * (V - 128)
G = Y - 0.344 * (U - 128) - 0.714 * (V - 128)
B = Y + 1.772 * (U - 128)

但直接用浮点运算太慢了。我建议用查表法或定点数优化：

// 定点数优化版本（8位精度）
int r = y + ((v - 128) * 359) >> 8;
int g = y - ((u - 128) * 88) >> 8 - ((v - 128) * 183) >> 8;
int b = y + ((u - 128) * 454) >> 8;

3.5 本章知识体系总览

下面这张图总结了鱼眼相机驱动与图像采集的完整链路：

从硬件 sensor 到用户空间拿到 RGB 图像，中间经历了 MIPI 传输、V4L2 驱动处理、DMA 搬运、色彩空间转换等多个环节。每个环节都可能成为性能瓶颈，需要你根据实际硬件平台和算法需求做针对性优化。