图像传感器基础：CMOS/CCD感光原理、Bayer阵列、RAW图像格式、曝光与增益的物理意义
ISP（Image Signal Processor）的3A算法——自动对焦（AF）、自动曝光（AE）、自动白平衡（AWB）——本质上是对图像传感器捕获的原始光信号进行解析与反馈控制的过程。要深入理解3A算法为何如此设计、边界条件在哪里、以及调参时为何会出现某些“反直觉”现象，必须首先夯实图像传感器的基础知识。本章将从感光元件的物理原理出发，逐步拆解CMOS与CCD的差异、Bayer彩色滤波阵列的采样逻辑、RAW图像的数据组织方式，以及曝光与增益在物理层面的真实含义。这些内容不仅是ISP工程师的必修课，也是调试AE算法时判断“该提增益还是该加曝光时间”的理论依据。
上图展示了从光子入射到ISP 3A引擎反馈控制的完整物理链路。理解这条链路中每个环节的“不可逆损失”和“噪声引入点”，是后续学习AE算法收敛策略、AWB色温估计以及AF对焦评价函数设计的前提。下面我们分模块深入展开。
2.1 CMOS与CCD感光原理：从光子到电子的转换
核心原理：光电效应与电荷积累
图像传感器的根本任务是完成光子到电子的转换。当入射光照射到硅基光电二极管上时，能量大于硅禁带宽度的光子会激发价带电子跃迁至导带，形成电子-空穴对。在反向偏置的PN结耗尽区中，光生电子被电场扫向N区并积累在光电二极管的结电容（Cpd）上，使得结电压随光照强度线性下降。这一物理过程可用公式表达为：
Ne = (η × P × A × Texp) / (h × ν)其中η为量子效率（通常CMOS在60%-80%之间），P为入射光功率密度，A为像素感光面积，Texp为曝光时间，h为普朗克常数，ν为光的频率。值得注意的是，电子数Ne与曝光时间Texp呈严格线性关系，这是AE算法中“先调曝光时间、后调增益”策略的物理基础。
CCD与CMOS的架构差异
| 对比维度 | CCD（电荷耦合器件） | CMOS（互补金属氧化物半导体） |
|---|---|---|
| 电荷读出方式 | 电荷逐行转移至输出放大器，全局统一读出 | 每个像素独立放大，行列寻址随机读出 |
| 噪声特性 | 读出噪声低（2-3 e-），暗电流小 | 固定模式噪声（FPN）明显，需相关双采样（CDS）抑制 |
| 功耗 | 较高（多路转移驱动） | 低（仅寻址电路工作） |
| 速度 | 帧率受限（电荷转移速率） | 高帧率（可窗口读出、ROI） |
| 全局快门 | 天然支持（电荷同时转移） | 需额外存储节点，卷帘快门为主 |
| 3A算法影响 | 曝光时间调节线性好，增益噪声低 | 卷帘快门导致运动畸变，AE需考虑行曝光差异 |
在手机与安防监控领域，CMOS已完全取代CCD。但理解CCD的“全局均匀读出”特性，有助于解释为何高端工业相机仍保留CCD——其像素一致性对AWB的灰点统计更友好。
案例拆解：暗电流对长曝光AE的影响
假设某CMOS传感器在25℃时暗电流为20 e-/s，在60℃时上升至200 e-/s（温度每升高10℃约翻倍）。当AE算法在夜间场景选择1秒曝光时，暗电流贡献的电子数占满阱容量（假设满阱30000 e-）的0.67%，这看似可忽略。但在60℃高温下，暗电流占比升至6.7%，导致黑电平（Black Level）明显抬升。若ISP未做温度补偿，AWB算法会将偏红的暗电流误判为低色温光源，从而输出偏蓝的校正结果。因此，专业ISP的AE/AWB模块必须读取传感器温度寄存器，对暗电流进行动态补偿。
2.2 Bayer阵列：彩色采样的起点
核心原理：单芯片彩色成像的必然选择
由于硅光电二极管本身无法区分颜色，必须在像素表面覆盖彩色滤波阵列（CFA）。Bayer阵列是最经典的CFA模式，其排列为：
R Gr
Gb B其中R、B各占25%，G占50%。绿色像素占比最高，是因为人眼对550nm附近的绿光最敏感，且该波段在自然光照中能量最强。Bayer阵列的物理意义在于：用2×2最小重复单元，以牺牲空间分辨率为代价换取颜色信息。每个像素只记录一种颜色的光强，其余两种颜色需要通过邻域插值（Demosaic）恢复。
判断方法：Bayer排列对ISP算法的影响
- Gr与Gb差异：同一行中Gr（与R同行）和Gb（与B同行）的感光响应可能存在微小差异，导致水平条纹噪声。3A算法中的AWB统计应分别累加Gr和Gb，避免绿通道分裂。
- 串扰（Crosstalk）：入射光斜射时，可能穿过滤色片进入相邻像素。这会导致色彩饱和度下降，AWB算法估计的色温会偏向中间值。解决方法是使用深沟槽隔离（DTI）工艺，但会增加成本。
- 微透镜偏移（Lens Shading）：边缘像素的微透镜需要向中心偏移以对准感光区，否则边缘色彩会偏暗偏色。AE算法需配合镜头阴影校正（LSC）表，否则边缘亮度统计失真。
实战场景：AWB统计中的Bayer处理
在AWB算法中，通常将图像划分为M×N个统计块，每个块内分别累加R、Gr、Gb、B的像素值。若某块中Gr与Gb的比值偏离1.0超过10%，则说明该区域可能存在强彩色边缘或镜头色差。此时应降低该块的权重，避免其对全局色温估计产生干扰。下表展示了典型AWB统计块的配置：
| 统计块大小 | 适用场景 | 优势 | 劣势 |
|---|---|---|---|
| 16×16 | 低分辨率预览 | 计算量小，实时性好 | 空间分辨率低，小色块易被忽略 |
| 64×64 | 高分辨率拍照 | 细节丰富，可检测局部光源 | 内存占用大，需DMA传输 |
| 自适应 | 复杂混合光源 | 兼顾全局与局部 | 算法复杂度高 |
2.3 RAW图像格式：3A算法的输入数据
核心原理：RAW数据的物理含义
RAW图像是传感器ADC输出的原始数字信号，未经任何ISP处理。其关键特征包括：
- 位深：常见10bit（1024级）、12bit（4096级）、14bit（16384级）。位深决定了亮度分辨率和AE算法的收敛精度。
- 黑电平（Black Level）：由于暗电流和ADC偏移，全黑场景下RAW值不为0，通常为64（12bit下）。AE算法在计算亮度时需先减去黑电平。
- 线性响应：RAW值与入射光强呈线性关系（在未饱和前），这为AE算法的线性模型提供了基础。
操作流程：RAW数据在3A算法中的使用
- 黑电平校正：从每个像素值中减去黑电平值，消除暗电流影响。
- 坏点校正：识别并替换异常像素（过亮或过暗），避免影响AE统计。
- LSC（镜头阴影校正）：乘以与像素位置相关的增益系数，补偿边缘亮度衰减。
- 统计信息提取：计算每个统计块的R/Gr/Gb/B平均值、亮度直方图、饱和度等。
- 3A算法决策：AE根据亮度统计调整曝光参数；AWB根据色比统计估计色温；AF根据高频能量统计评价对焦。
案例拆解：RAW位深对AE收敛的影响
假设某传感器在10bit模式下，满阱电子数30000 e-对应ADC输出1023。当场景亮度较低，曝光时间1/30s时，像素输出仅200 e-，对应ADC值约68。此时量化步长为30000/1024≈29.3 e-/LSB，量化噪声显著。若改用12bit模式，量化步长降至7.3 e-/LSB，信噪比提升约6dB。因此，在暗光环境下，AE算法应优先增加曝光时间而非增益，同时建议传感器切换至更高位深模式。但高位深会降低帧率，需在预览和拍照模式间动态切换。
2.4 曝光与增益的物理意义
核心原理：曝光三要素的物理约束
曝光量H = E × Texp，其中E为照度（lux），Texp为曝光时间。传感器输出的电子数Ne = η × H × A / (h×ν)。当Ne超过满阱容量（Full Well Capacity, FWC）时，像素饱和，高光细节丢失。增益（Gain）则是在电子数转换为电压或数字码时引入的放大系数：
模拟增益：Vout = (Ne × q / Cpd) × G_analog
数字增益：Dout = (Vout - Vbl) / Vref × 2^N × G_digital模拟增益在ADC之前放大电压信号，但会同步放大噪声（包括读出噪声和1/f噪声）。数字增益在量化后放大数字码，仅放大信号而不放大已量化的噪声，但会放大量化误差。因此，AE算法的核心原则是：优先调整曝光时间，其次调整模拟增益，最后才使用数字增益。
判断方法：AE算法的增益分配策略
| 场景亮度 | 曝光时间 | 模拟增益 | 数字增益 | 噪声表现 |
|---|---|---|---|---|
| 充足（>100 lux） | 1/100s~1/1000s | 1x~2x | 1x | 噪声低，画质优 |
| 一般（10-100 lux） | 1/30s~1/60s | 2x~4x | 1x~1.5x | 轻微噪声，可接受 |
| 昏暗（1-10 lux） | 1/15s~1/30s | 4x~8x | 1.5x~3x | 噪声明显，需降噪算法 |
| 极暗（<1 lux） | 1/8s~1/15s | 8x~16x | 3x~6x | 噪声严重，可能偏色 |
实战场景：AE算法在夜间模式下的增益分配
某手机在夜间拍摄时，AE算法检测到环境照度约5 lux。初始参数为曝光时间1/30s，模拟增益4x，数字增益1x。此时画面亮度不足，直方图集中在低灰度区。AE算法按以下步骤调整：
- 首先将曝光时间从1/30s延长至1/15s（增加一倍进光量），亮度提升约1EV。
- 若仍不足，将模拟增益从4x提升至8x（增加6dB），但需注意噪声随之增加。
- 若传感器最大模拟增益为8x，则启用数字增益至2x，但此时噪点已较明显。
- 最终参数：曝光1/15s，模拟增益8x，数字增益2x。画面亮度达标，但暗部噪声明显。
复盘：若传感器支持多帧合成（HDR或夜景模式），AE算法应优先采用短曝光+多帧降噪策略，而非单纯提高增益。因为多帧平均可降低随机噪声，而增益放大无法区分信号与噪声。
2.5 本章总结与常见误区
核心原理回顾
图像传感器的基础知识是3A算法的物理根基。CMOS的卷帘快门特性决定了AE算法需考虑行曝光差异；Bayer阵列的采样结构决定了AWB统计必须区分Gr/Gb；RAW数据的线性特性是AE线性模型的依据；曝光与增益的物理约束决定了AE算法的优先级策略。
常见误区
- 误区一：认为数字增益与模拟增益效果相同。实际上，模拟增益放大的是“信号+噪声”，而数字增益仅放大信号（但放大量化误差），两者对信噪比的影响不同。
- 误区二：忽略黑电平对AWB的影响。若未减去黑电平，暗部区域的R/G/B比值会失真，导致低色温场景偏蓝、高色温场景偏黄。
- 误区三：在RGB域进行3A统计。经过白平衡和Gamma校正后的RGB数据已非线性化，无法准确反映物理光强，必须使用RAW域数据。
- 误区四：认为曝光时间越长越好。长曝光不仅增加运动模糊风险，还会因暗电流积累导致黑电平漂移，影响AWB准确性。