V4L2 subdev驱动开发：sensor与ISP协同 - 第2节

2.1 Subdev 在 V4L2 框架中的定位与作用

在嵌入式摄像头系统中，一个完整的视频采集链路通常由 Sensor（图像传感器）、ISP（图像信号处理器）、CSI 接收器 等多个硬件模块串联而成。V4L2（Video for Linux 2）框架引入 Subdev（Sub-device） 概念，正是为了将这条链路上的每个独立硬件单元抽象为可独立控制、可动态连接的软件实体。

2.1.1 Subdev 的主要作用

2.1.2 Subdev 与 Video 节点的关系

V4L2 框架中存在两类核心设备节点：Video 节点（/dev/videoX） 和 Subdev 节点（/dev/v4l-subdevX）。它们的分工与协作关系如下：

• Video 节点：面向应用层，负责图像数据的采集、输出和流 I/O 控制（如 VIDIOC_QBUF、VIDIOC_DQBUF）。它是数据流的终点或起点。
• Subdev 节点：面向驱动层，负责硬件单元的配置与控制（如格式协商、曝光设置、增益调节）。它不直接处理图像数据流。

下图展示了典型的 Sensor + ISP 系统中 Subdev 与 Video 节点的协作关系：

2.2 Subdev 内部架构：ops、pad、state

每个 V4L2 subdev 驱动内部由三个核心组件构成：操作集（ops）、端口（pad） 和 状态（state）。理解这三者的关系是编写 subdev 驱动的基础。

2.2.1 操作集（ops）

struct v4l2_subdev_ops 是 subdev 驱动的核心接口集合，它定义了 subdev 对外提供的所有操作能力。ops 按功能分为多个子集：

驱动注册时，通过 v4l2_subdev_init() 或 v4l2_i2c_subdev_init() 将 ops 绑定到 subdev 实例：

static const struct v4l2_subdev_ops sensor_subdev_ops = {
    .core  = &sensor_core_ops,
    .video = &sensor_video_ops,
    .pad   = &sensor_pad_ops,
};

static int sensor_probe(struct i2c_client *client) {
    struct v4l2_subdev *sd;
    // ... 分配 subdev 内存 ...
    v4l2_i2c_subdev_init(sd, client, &sensor_subdev_ops);
    // ... 其他初始化 ...
}

2.2.2 端口（pad）

Pad 是 subdev 的数据输入/输出端口，用于描述 subdev 与其他 subdev 或 video 节点之间的连接关系。每个 subdev 可以有多个 pad，分为 输入 pad 和 输出 pad。

• 输入 pad（SINK）：接收来自上游 subdev 的图像数据。
• 输出 pad（SOURCE）：向下游 subdev 或 video 节点发送图像数据。

Pad 的定义通过 struct v4l2_subdev_pad_ops 中的回调实现，核心是格式协商：

static struct v4l2_subdev_pad_ops sensor_pad_ops = {
    .enum_mbus_code = sensor_enum_mbus_code,  // 枚举支持的媒体总线格式
    .get_fmt        = sensor_get_fmt,         // 获取当前格式
    .set_fmt        = sensor_set_fmt,         // 设置格式（核心协商函数）
};

// pad 数组定义（Sensor 通常只有 1 个输出 pad）
static const struct media_entity_operations sensor_media_ops = {
    .link_validate = v4l2_subdev_link_validate,
};

static struct v4l2_subdev_pad_config sensor_pad_cfg[] = {
    {
        .pad = 0,  // 输出 pad
        .flags = MEDIA_PAD_FL_SOURCE,
    },
};

2.2.3 状态（state）

Subdev 的状态管理通过 struct v4l2_subdev_state 实现，它保存了 subdev 当前的工作参数，包括：

• Pad 格式：每个 pad 当前的媒体总线格式（struct v4l2_mbus_framefmt）。
• 裁剪/缩放：每个 pad 的裁剪矩形（struct v4l2_rect）和缩放比例。
• 帧间隔：当前帧率设置。
• 其他自定义状态：驱动开发者可扩展的私有数据。

状态管理在 v4l2_subdev_state 中通过 try 和 active 两套机制实现：

下图展示了 subdev 内部 ops、pad、state 三者的关系：

2.2.4 三者的协同工作流程

以 Sensor subdev 设置分辨率为例，展示 ops、pad、state 的协同过程：

1. 应用层调用：通过 Video 节点或 subdev 节点调用 VIDIOC_SUBDEV_S_FMT。
2. 框架路由：V4L2 框架找到目标 subdev，调用其 pad_ops->set_fmt() 回调。
3. 格式协商：set_fmt() 内部检查请求的格式是否在 enum_mbus_code() 支持的列表中。
4. 状态更新：如果格式有效，更新 state 中的 pad 格式信息（try 或 active）。
5. 硬件配置：通过 core_ops->s_power() 或自定义函数，将格式写入 Sensor 硬件寄存器。
6. 链路传播：如果格式变化影响下游，通过 media controller 通知相邻 subdev 重新协商。

2.3 本章小结