📚 课程目录第2章图像传感器基础

图像传感器基础：CMOS vs CCD、Bayer阵列原理、Sensor驱动与初始化、帧率与分辨率

做ISP调优，第一关就是搞懂图像传感器。说白了，传感器就是摄像头的“眼睛”。你后面调的所有参数——亮度、颜色、降噪——都得从这颗“眼睛”里拿原始数据。如果传感器没选对或者没配好，后面的ISP算法再牛也救不回来。

我个人习惯，拿到一个新项目，先看Sensor规格书，再看ISP芯片手册。顺序不能反。为什么？因为Sensor决定了图像的天花板，ISP只是尽量去接近这个天花板。

CMOS vs CCD：安防监控怎么选？

现在安防监控领域，99%都是CMOS传感器。CCD基本退出了主流市场。但作为基础知识，两者的区别你还是要吃透。

对比项	CMOS	CCD
读出方式	每个像素独立放大、读出	整行电荷转移，统一读出
功耗	低（约CCD的1/10）	高（需要多路电压）
噪声	固定模式噪声（FPN）较明显	读出噪声低，画面干净
帧率	高（支持高速读出）	低（串行读出瓶颈）
成本	低（标准工艺）	高（专用工艺）
安防适用性	★★★★★	★★☆☆☆

关键结论：安防监控场景下，CMOS的低功耗、高帧率、低成本是优势。CCD虽然画质干净，但功耗高、帧率低，只适合极少数对噪声要求极端苛刻的科研场景。

我记得2018年做过一个项目，客户坚持要用CCD，说“CCD画质好”。结果样机做出来，发热严重，晚上红外灯一开，热噪声直接炸了。后来换了背照式CMOS，问题全解决。所以，别迷信老技术，要看场景。

Bayer阵列原理：为什么RAW图是“花”的？

你第一次看Sensor输出的RAW图，肯定会懵——怎么是绿油油一片，还有马赛克？这就是Bayer阵列。

人眼对绿色最敏感，所以Bayer阵列里绿色像素占了一半，红色和蓝色各占四分之一。典型的RGGB排列：

R G R G ...
G B G B ...
R G R G ...
G B G B ...

每个像素只能感知一种颜色。那彩色图像怎么来的？靠“猜”——也就是去马赛克（Demosaic）算法。用周围像素插值，把缺失的颜色补全。

实战经验：我建议你在调ISP之前，先看一眼RAW图的直方图。如果某个通道（比如B通道）整体偏暗，说明Sensor的Bayer增益可能没配平。这时候去调白平衡是治标不治本。

我曾经遇到一个案例，画面偏紫，调了三天白平衡参数都没用。最后回头查RAW图，发现B通道增益比R通道低了6dB。改了一行Sensor初始化代码，问题秒解。所以，RAW图是ISP调优的“第一现场”，别跳过。

Sensor驱动与初始化：上电时序是“生死线”

Sensor驱动，说白了就是让Sensor“活过来”并开始干活。流程不复杂，但每一步都有坑。

硬件上电：AVDD（模拟）、DVDD（数字）、IOVDD（IO）必须按规格书顺序来。顺序错了，Sensor直接烧掉。
复位：拉低XCLR引脚，保持至少1ms，再拉高。有些Sensor需要外部复位芯片，有些内部自带。
MCLK输入：给主时钟，通常是24MHz或27MHz。频率不准，帧率就偏。
I2C/SPI配置：写寄存器，设置分辨率、帧率、增益、曝光等。
输出MIPI/DVP：配置完成后，Sensor开始输出图像数据。

避坑指南：我曾经因为上电时序没加延时，导致Sensor初始化成功率只有70%。后来在AVDD稳定后加了10ms延时，问题消失。记住：不要相信Sensor的“上电即用”，加延时是低成本高收益的习惯。

下面是一个典型的Sensor初始化代码片段（I2C方式）：

// 伪代码示例：初始化OV5640 Sensor
void sensor_init() {
    // 1. 硬件上电
    power_on_avdd(2.8V);    // 模拟电压
    delay_ms(5);
    power_on_dvdd(1.5V);    // 数字电压
    delay_ms(5);
    power_on_iovdd(1.8V);   // IO电压
    delay_ms(10);

    // 2. 复位
    gpio_set_level(XCLR_PIN, 0);
    delay_ms(1);
    gpio_set_level(XCLR_PIN, 1);
    delay_ms(20);

    // 3. 配置寄存器组
    i2c_write(0x3103, 0x11);  // 系统时钟配置
    i2c_write(0x3008, 0x82);  // 软件复位
    delay_ms(10);
    i2c_write(0x3008, 0x42);  // 启动

    // 4. 设置输出格式
    i2c_write(0x3035, 0x11);  // PLL配置
    i2c_write(0x3036, 0x46);  // 倍频系数
    i2c_write(0x3820, 0x40);  // 输出尺寸
    i2c_write(0x3821, 0x1E);

    // 5. 等待输出稳定
    delay_ms(100);
}

个人习惯：我会在初始化代码里加一个“读ID”校验。写完后读Sensor的芯片ID寄存器，确认通信正常。如果ID读不对，直接报错，别往下走。这个习惯帮我省了至少三天调试时间。

帧率与分辨率：平衡的艺术

帧率和分辨率，是安防监控里最直接的矛盾。你想想看，4K分辨率下要跑30fps，数据量是1080p@30fps的4倍。Sensor的MIPI带宽、ISP的处理能力、存储的写入速度，任何一个环节跟不上，就会丢帧。

帧率的计算公式很简单：

帧率 = PCLK / (HTS × VTS)

其中：
PCLK = 像素时钟（Hz）
HTS = 一行总像素数（包括消隐区）
VTS = 一帧总行数（包括消隐区）

举个例子，一个Sensor的PCLK是72MHz，HTS=2200，VTS=1125：

帧率 = 72,000,000 / (2200 × 1125) ≈ 29.1 fps

嗯，这里要注意：HTS和VTS都包含了消隐区。消隐区是Sensor用来做数据同步和处理的“空档期”，不能省。但你可以通过调整消隐区大小来微调帧率。

分辨率	典型帧率（安防）	MIPI带宽需求（10bit）	适用场景
1080p (1920x1080)	25/30 fps	~622 Mbps	通用监控
4K (3840x2160)	15/20/30 fps	~2.5 Gbps	高端安防、车牌识别
8K (7680x4320)	10/15 fps	~10 Gbps	全景监控、AI分析

核心原则：安防场景下，帧率优先于分辨率。25fps是流畅监控的底线。如果带宽不够，宁可降分辨率也别降帧率。拖影画面比模糊画面更致命——因为AI算法根本认不出拖影里的人脸。

我曾经优化过一个项目，客户非要4K@30fps，但Sensor的MIPI只有4 lane，带宽跑满也就2.5Gbps。最后我建议降到4K@20fps，同时开启Sensor的HDR模式。效果反而更好——动态范围提升了，画面细节更丰富。所以，别硬扛规格，要懂取舍。

本章知识体系

下面这张图，帮你把本章的核心逻辑串起来：

这张图把本章四个核心知识点串在了一起。你从Sensor出发，先选类型（CMOS/CCD），再理解数据格式（Bayer），然后配驱动让它跑起来，最后权衡帧率和分辨率。每一步都踩实了，后面调ISP才有底气。