1. Camera系统概述：从光到数字的旅程

做Camera驱动这么多年，我经常跟新人说一句话：搞懂Camera，其实就是搞懂光怎么变成数字的。听起来简单，但这里面门道不少。今天咱们就从原理到硬件，再到软件栈和数据流，把整个链路捋一遍。

1.1 Camera工作原理：光信号→电信号→数字信号

说白了，Camera的工作就是三个步骤：感光、转换、处理。

• 感光：外界光线通过镜头，聚焦到传感器表面。
• 转换：传感器上的每个像素点（Photosite）把光子转换成电荷，电荷量跟光强成正比。
• 处理：这些模拟电荷经过ADC（模数转换器）变成数字信号，再交给ISP（图像信号处理器）做后续处理。

你想想看，一个2000万像素的传感器，意味着有2000万个感光点同时在工作。每个点都在做光电转换，这数据量有多大？嗯，这就是为什么驱动要做那么多优化。

1.2 Camera硬件组成：镜头、传感器、ISP

一套完整的Camera模组，通常包含三大件。我习惯把它们比作「眼睛、视网膜、视觉皮层」。

组件	功能	驱动关注点
镜头（Lens）	汇聚光线，控制进光量和焦距	VCM驱动、AF（自动对焦）控制、光圈调节
传感器（Sensor）	光电转换，输出RAW数据	寄存器配置、帧率控制、曝光时间、增益
ISP（图像信号处理器）	RAW→YUV/JPEG，做图像增强	Pipeline配置、3A算法（AE/AWB/AF）、Tuning

我记得刚入行那会儿，遇到一个项目，预览画面偏色严重。查了两天，最后发现是Sensor的增益配置跟ISP的AWB算法没对齐。从那以后，我每次做新平台，都会先确认Sensor和ISP之间的数据格式约定。

1.3 Camera驱动软件栈：V4L2、CSI、平台驱动

软件栈这块，我习惯从下往上讲。因为数据流是从硬件往上走的，驱动也得从底层开始搭。

1.3.1 平台驱动层

这是最底层，直接跟SoC的CSI（Camera Serial Interface）控制器打交道。负责配置DMA、中断、时钟、电源。说白了，就是让SoC知道「数据要从哪个管脚进来，往哪个内存地址写」。

1.3.2 CSI驱动层

CSI是Sensor和SoC之间的物理传输通道。常见的有MIPI CSI-2、LVDS、HiSPi等。驱动要做的事情包括：

• 配置PHY层（物理层）的电压、时钟、均衡
• 解析数据包格式（长包、短包、ECC校验）
• 处理虚拟通道（多路Sensor共用一条CSI总线时）

1.3.3 V4L2框架层

V4L2（Video for Linux 2）是Linux内核中视频设备的统一框架。它定义了标准的ioctl接口，让上层应用可以统一操作Camera设备。我建议你重点理解这几个核心概念：

• Video Device Node：/dev/videoX，用户空间的操作入口
• Buffer Management：申请、入队、出队、流控
• Control：曝光、增益、白平衡等参数的统一接口
• Subdev：将Sensor、ISP、MIPI桥片等抽象为子设备

1.4 Camera数据流：RAW → YUV → JPEG

数据流是Camera驱动最核心的脉络。我画了一张图，帮你理清整个流程。

这张图展示了从Sensor到应用层的完整数据流。我特别想强调一点：RAW数据是Bayer格式的，每个像素只记录一种颜色分量。为什么？因为传感器上的每个感光点只能感知光的强度，不能感知颜色。颜色是通过在感光点上方覆盖滤色片（CFA，Color Filter Array）来实现的。

常见的Bayer模式有RGGB、BGGR、GRBG等。驱动工程师需要知道Sensor用的是哪种模式，因为ISP的Demosaic算法需要根据这个来插值。

1.5 小结：驱动工程师的视角

做Camera驱动，说白了就是跟这三样东西打交道：硬件寄存器、数据格式、时序约束。

• 硬件寄存器：Sensor的曝光、增益、帧率；CSI的时钟、lane数、数据格式；ISP的pipeline配置。
• 数据格式：RAW的位深和Bayer模式；YUV的采样格式（NV12/NV21/YUYV）；JPEG的质量因子。
• 时序约束：帧同步、行同步、像素时钟、MIPI的D-PHY时序。

我记得有一次调试一个4K 60fps的项目，Sensor输出没问题，CSI接收也没问题，但ISP处理不过来。最后发现是ISP的时钟频率配置低了，导致pipeline吞吐量不够。调高时钟后，问题解决。嗯，这种问题在高速Camera系统中特别常见。