2. 图像传感器基础：CCD与CMOS传感器原理、像素结构与感光原理、彩色滤波阵列(CFA)与Bayer格式
在开始配置Sensor寄存器与调试AE（自动曝光）之前，必须深刻理解图像传感器的工作原理。本章将系统讲解CCD与CMOS两大主流传感器的差异、像素的物理结构、感光过程，以及彩色滤波阵列（CFA）与Bayer格式的排列逻辑。这些知识是后续配置曝光时间、增益、帧率等参数的理论基石。
2.1 CCD与CMOS传感器原理对比
CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体）是当前主流的两种图像传感器技术。它们的核心区别在于电荷读出方式与信号处理架构。
| 对比维度 | CCD传感器 | CMOS传感器 |
|---|---|---|
| 读出方式 | 电荷逐行转移至输出放大器，全局读出 | 每个像素自带放大器，行列寻址读出 |
| 功耗 | 较高（需多路高压时钟驱动） | 较低（单电源，静态功耗低） |
| 噪声水平 | 较低（读出路径单一，一致性高） | 较高（像素级放大器失配导致固定模式噪声） |
| 读出速度 | 较慢（串行读出，帧率受限） | 较快（并行读出，支持高帧率） |
| 集成度 | 低（需外部驱动与ADC芯片） | 高（可集成ADC、DSP、接口于单芯片） |
| 成本 | 较高（特殊工艺，良率低） | 较低（标准CMOS工艺，大规模量产） |
| 应用场景 | 天文、科研、高端工业相机 | 手机、安防、汽车、消费电子 |
实战要点：当前主流ISP调试工作几乎全部基于CMOS传感器。CMOS的像素级放大器虽然引入噪声，但通过现代降噪算法（如3DNR、Bayer域降噪）可以显著抑制。在AE联调中，CMOS的逐行读出特性决定了曝光与增益的配置必须与行同步（HBlank）和帧同步（VBlank）时序严格对齐。
2.2 像素结构与感光原理
无论是CCD还是CMOS，其基本感光单元都是像素（Pixel）。一个典型的CMOS像素结构包含以下关键部分：
- 微透镜（Microlens）： 将入射光汇聚到感光区域，提高量子效率。
- 彩色滤波片（Color Filter）： 仅允许特定波长（R/G/B）的光通过。
- 光电二极管（Photodiode）： 将光子转换为电子，是感光的核心器件。
- 传输门（Transfer Gate, TX）： 控制电荷从光电二极管转移到浮置扩散区。
- 浮置扩散区（Floating Diffusion, FD）： 临时存储电荷，并转换为电压信号。
- 源极跟随器（Source Follower, SF）： 将FD电压缓冲输出。
- 行选择开关（Row Select, RS）： 控制该像素是否接入列总线。
- 复位晶体管（Reset, RST）： 将FD复位到参考电压。
感光过程四步走： 复位（RST开启，FD清零）→ 曝光（TX关闭，光电二极管积累电荷）→ 转移（TX开启，电荷从PD转移至FD）→ 读出（RS开启，SF输出与电荷量成正比的电压）。
2.3 彩色滤波阵列(CFA)与Bayer格式
单个像素只能感知光的强度（亮度），无法区分颜色。为了获取彩色图像，必须在像素表面覆盖彩色滤波阵列（CFA）。最经典的CFA模式是Bayer格式，由Bryce Bayer于1976年发明。
2.3.1 Bayer格式排列规则
Bayer格式的基本单元是2×2像素块，包含1个红色（R）、2个绿色（G）、1个蓝色（B）像素。绿色通道采样率是红/蓝的两倍，因为人眼对绿色亮度信息最敏感。
2.3.2 其他CFA变种
| CFA类型 | 排列特点 | 典型应用 |
|---|---|---|
| 标准Bayer RGGB | 2×2单元，R/G/G/B | 绝大多数消费级相机、手机 |
| X-Trans (Fuji) | 6×6单元，不规则排列，减少摩尔纹 | 富士无反相机 |
| Quad Bayer | 4×4单元，每4个同色像素合并，提升弱光灵敏度 | 高像素手机传感器（如IMX586） |
| RYYB | 用黄色（Y）替换绿色（G），进光量提升 | 华为部分旗舰手机 |
2.3.3 从Bayer到RGB：去马赛克（Demosaic）
Sensor输出的原始数据（Raw Data）是Bayer格式，每个像素只包含一种颜色信息。必须通过去马赛克算法插值出每个像素的R、G、B三个通道值，才能形成完整的彩色图像。
AE联调中的Bayer影响： 在配置AE时，ISP通常统计Bayer Raw域的亮度信息（如Y通道）。由于绿色通道占50%且最接近人眼亮度感知，AE权重通常向G通道倾斜。部分Sensor支持Binning模式（同色像素合并），此时AE的曝光计算需考虑合并后的等效灵敏度变化。
2.4 传感器输出接口与Raw数据格式
CMOS传感器通过标准接口输出Raw数据，常见接口包括：
- MIPI CSI-2： 当前移动和嵌入式领域主流，支持多Lane高速串行传输。
- LVDS： 工业相机常用，抗干扰能力强。
- Parallel（DVP）： 传统并行接口，逐渐被淘汰。
Raw数据的位深通常为10bit、12bit或14bit。ISP调试的第一步就是正确解析Raw数据格式，包括：
// 以10bit Bayer Raw为例，数据打包方式
// 每4个像素（2×2 Bayer单元）打包为5字节
// 像素0: bit[9:2] 占1字节，bit[1:0] 存入第5字节高2位
// 像素1: bit[9:2] 占1字节，bit[1:0] 存入第5字节次高2位
// 像素2: bit[9:2] 占1字节，bit[1:0] 存入第5字节次低2位
// 像素3: bit[9:2] 占1字节，bit[1:0] 存入第5字节低2位
// 解包伪代码
for each 5 bytes block:
pixel0 = (byte0 << 2) | ((byte4 >> 6) & 0x03)
pixel1 = (byte1 << 2) | ((byte4 >> 4) & 0x03)
pixel2 = (byte2 << 2) | ((byte4 >> 2) & 0x03)
pixel3 = (byte3 << 2) | (byte4 & 0x03)
常见踩坑点： Bayer相位（Phase）配置错误会导致颜色完全错乱。例如，Sensor输出顺序为R/Gr/Gb/B，但ISP默认配置为Gr/R/B/Gb，则去马赛克后图像会出现严重偏色。在AE联调前，务必通过Sensor datasheet确认Bayer相位，并在ISP驱动中正确设置。
2.5 本章小结
本章建立了图像传感器的基础知识框架：
- CCD与CMOS的架构差异决定了读出速度、功耗和噪声特性，当前AE调试主要面向CMOS。
- 像素的4T结构（PD-TX-FD-SF-RS）是感光与读出的核心，满阱容量、转换增益、暗电流直接影响AE的曝光范围。
- Bayer CFA的RGGB排列是Raw数据的基础格式，理解其排列规则是正确解析Raw数据、配置AE统计窗口的前提。
- Raw数据的位深与打包方式决定了ISP前端解析的准确性，Bayer相位错误是导致颜色异常的常见原因。