📚 课程目录第1章 V4L2框架概述

1. V4L2框架概述：历史、核心数据结构、用户空间与内核空间交互模型

1.1 V4L2发展历史与定位

Video4Linux2（V4L2）是Linux内核中视频设备驱动的标准框架，自2002年Linux 2.5.x内核引入以来，已成为摄像头、电视调谐器、编解码器等多媒体设备的事实标准接口。V4L2取代了早期的V4L1，解决了设备抽象不足、缓冲区管理混乱、扩展性差等问题。

版本	引入内核	核心改进	当前状态
V4L1	Linux 2.1.x	基础视频采集接口，缺乏裁剪/缩放支持	已废弃（Linux 2.6.38移除）
V4L2	Linux 2.5.46	统一设备模型、ioctl扩展、多平面缓冲区	主线内核稳定支持
V4L2扩展	Linux 3.x~6.x	Media Controller、Request API、Crop/Compose标准化	持续演进中

课程定位：本课程聚焦V4L2的裁剪（Crop）与合成（Compose）窗口配置，这是实现传感器区域选择、图像缩放、多路复用等高级功能的核心机制。理解V4L2整体架构是掌握Crop/Compose的前提。

1.2 V4L2核心数据结构

V4L2框架围绕一组标准数据结构构建，这些结构通过ioctl系统调用在用户空间与内核空间之间传递配置信息。以下是开发中最常打交道的核心结构：

struct video_device — 内核中代表一个V4L2设备节点的抽象，注册后生成/dev/videoX设备文件。
struct v4l2_device — 顶层设备实例，管理子设备（如传感器、ISP）和全局状态。
struct v4l2_subdev — 子设备抽象，用于表示摄像头模组、编解码器、DMA引擎等独立硬件单元。
struct v4l2_format — 图像格式描述，包含宽度、高度、像素编码（如YUYV、NV12）、每行字节数等。
struct v4l2_buffer — 缓冲区描述，包含索引、长度、时间戳、内存类型（MMAP/USERPTR/DMABUF）等。
struct v4l2_crop / struct v4l2_cropcap — 裁剪窗口配置与能力查询，本课程核心结构。
struct v4l2_selection — 统一的裁剪/合成选择接口，替代旧的v4l2_crop，支持多目标类型。

/* 用户空间典型的格式查询与设置流程 */
struct v4l2_format fmt;
memset(&fmt, 0, sizeof(fmt));
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

/* 查询当前格式 */
ioctl(fd, VIDIOC_G_FMT, &fmt);

/* 修改为1920x1080 NV12 */
fmt.fmt.pix.width       = 1920;
fmt.fmt.pix.height      = 1080;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_NV12;
fmt.fmt.pix.field       = V4L2_FIELD_NONE;

/* 设置格式（驱动可能调整对齐约束） */
ioctl(fd, VIDIOC_S_FMT, &fmt);

1.3 用户空间与内核空间交互模型

V4L2采用经典的字符设备+ioctl模型，用户空间通过open()打开/dev/videoX，通过ioctl()发送控制命令，通过mmap()或read()/write()传输图像数据。整个交互流程可概括为以下阶段：

设备发现与能力查询 — 使用VIDIOC_QUERYCAP获取驱动能力、设备类型、总线信息。
格式协商 — 通过VIDIOC_ENUM_FMT枚举支持格式，VIDIOC_S_FMT设置最终格式。
裁剪/合成配置 — 使用VIDIOC_S_SELECTION配置Crop和Compose窗口（本课程核心）。
缓冲区申请与映射 — VIDIOC_REQBUFS申请缓冲区，mmap()映射到用户空间。
流式传输 — VIDIOC_STREAMON启动采集，VIDIOC_DQBUF/VIDIOC_QBUF循环处理帧数据。
资源释放 — VIDIOC_STREAMOFF停止流，munmap()解除映射，close()关闭设备。

  关键交互原则：V4L2采用“先配置后启动”的严格状态机模型。Crop/Compose窗口必须在STREAMON之前配置完成，否则驱动可能拒绝修改或产生未定义行为。

1.4 V4L2设备模型与子设备架构

现代嵌入式摄像头系统通常包含多个硬件单元：传感器、图像信号处理器（ISP）、MIPI CSI-2接收器、DMA引擎等。V4L2通过子设备（subdev）架构管理这种复杂性：

主设备（video_device） — 对外暴露/dev/videoX节点，处理格式协商、缓冲区管理、流控制。
子设备（v4l2_subdev） — 每个硬件单元对应一个子设备，通过v4l2_subdev_call调用其操作函数。
媒体控制器（Media Controller） — 通过/dev/mediaX节点描述子设备之间的数据流拓扑，支持运行时动态配置。

组件	设备节点	职责	Crop/Compose相关性
主设备	/dev/video0	用户空间接口、缓冲区管理、流控制	接收用户Crop/Compose请求
传感器子设备	/dev/v4l-subdev0	曝光、增益、帧率、传感器裁剪	传感器级别的Crop窗口
ISP子设备	/dev/v4l-subdev1	图像处理、缩放、色彩转换	ISP级别的Compose缩放
CSI接收器	/dev/v4l-subdev2	MIPI协议解析、数据打包	通常透传，不参与裁剪

常见误区：初学者常认为Crop/Compose只在主设备层配置。实际上，在子设备架构中，Crop窗口可能需要在传感器子设备层设置（硬件裁剪），而Compose缩放可能在ISP子设备层完成。本课程后续章节将详细拆解这种分层配置策略。

1.5 V4L2裁剪与合成概念引入

裁剪（Crop）与合成（Compose）是V4L2框架中两个紧密关联但职责不同的概念，它们共同决定了最终输出图像的区域和尺寸：

Crop（裁剪） — 从传感器或输入源的完整像素矩阵中选取一个矩形子区域。例如：从4000x3000的传感器输出中裁剪出1920x1080的中心区域。
Compose（合成/缩放） — 将裁剪后的图像放置到输出缓冲区的指定位置，并可进行缩放。例如：将1920x1080的裁剪结果缩放到640x480并居中放置。

V4L2通过VIDIOC_S_SELECTION ioctl统一配置这两种操作，使用struct v4l2_selection结构体指定目标类型（V4L2_SEL_TGT_CROP或V4L2_SEL_TGT_COMPOSE）和矩形区域。

/* 配置裁剪窗口的典型代码片段 */
struct v4l2_selection sel;
memset(&sel, 0, sizeof(sel));
sel.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
sel.target = V4L2_SEL_TGT_CROP;       /* 裁剪目标 */
sel.flags = V4L2_SEL_FLAG_LE;         /* 驱动可缩小但不可放大 */
sel.r.left   = 100;                   /* 裁剪起始X */
sel.r.top    = 200;                   /* 裁剪起始Y */
sel.r.width  = 1920;                  /* 裁剪宽度 */
sel.r.height = 1080;                  /* 裁剪高度 */

if (ioctl(fd, VIDIOC_S_SELECTION, &sel) == -1) {
    perror("VIDIOC_S_SELECTION failed");
    /* 驱动可能调整了窗口边界，需读取实际值 */
    ioctl(fd, VIDIOC_G_SELECTION, &sel);
    printf("Actual crop: %dx%d at (%d,%d)\n",
           sel.r.width, sel.r.height, sel.r.left, sel.r.top);
}