2. 图像传感器基础
图像传感器是Camera硬件通路的第一级“光电转换器”，其核心任务是将外界光子转换为可被后续ISP处理的电信号。理解CMOS与CCD的底层差异、像素结构、感光机制以及CFA的排列逻辑，是系统架构师进行Sensor选型、ISP参数配置和图像质量调优的前提。本章将从半导体物理与电路实现两个维度，拆解传感器的工作原理，并重点剖析量子效率（QE）与灵敏度这两个决定暗光性能的关键指标。
2.1 CMOS与CCD传感器原理对比
核心原理：CCD（电荷耦合器件）与CMOS（互补金属氧化物半导体）传感器虽然都基于光电效应，但读出机制截然不同。CCD在曝光后，每个像素中的光生电荷通过垂直移位寄存器逐行转移到水平移位寄存器，再由单一输出放大器统一转换为电压。这种“全局转移”机制保证了电荷转移路径上的一致性，因此CCD的固定模式噪声（FPN）较低，且填充因子高（无像素内晶体管遮挡）。CMOS则采用“像素内放大+行列寻址”方案，每个像素包含光电二极管和至少一个源极跟随器（SF）放大器，通过行选通（RS）信号逐行读取，再经列并行ADC转换。CMOS的制程兼容性使其能够将时序控制、ADC、ISP甚至DDR接口集成在同一芯片上，但代价是像素内晶体管占用了感光面积，降低了填充因子。
判断方法：在工程选型时，可从以下维度快速区分：
| 对比维度 | CCD | CMOS |
|---|---|---|
| 读出方式 | 电荷逐行转移，单路输出 | 行列寻址，列并行ADC |
| 功耗 | 高（多路时钟驱动） | 低（单电源，无高幅时钟） |
| 噪声 | 低（无像素内晶体管） | 较高（需CDS抑制复位噪声） |
| 快门类型 | 全局快门（天然） | 卷帘快门为主，全局快门需特殊设计 |
| 集成度 | 低，需外部驱动芯片 | 高，可集成ISP/ADC/时序 |
| 帧率 | 较低（受限于转移速度） | 高（列并行读出） |
案例拆解：在工业相机选型中，若检测高速运动的工件（如芯片引脚缺陷检测），CCD的全局快门可避免运动畸变，但系统功耗和成本较高。某视觉检测项目曾对比Basler的CCD相机与Sony的CMOS全局快门相机（如IMX174），在相同光照下，CCD的暗电流噪声为2e-，而CMOS全局快门为6e-，但CMOS帧率可达50fps（CCD仅25fps）。最终方案选择CMOS全局快门，并通过ISP的降噪算法补偿噪声差异，在保证检测精度的同时将系统功耗降低了40%。
2.2 像素结构与感光原理
核心原理：典型CMOS像素采用4T结构（4个晶体管），包含光电二极管（PD）、传输门（TX）、复位管（RST）、源极跟随器（SF）和行选通管（RS）。曝光期间，光子入射PD产生电子-空穴对，电子被PD的N型区收集。曝光结束后，TX开启，将PD中的电荷转移到浮置扩散区（FD）。FD的电压变化量ΔV = Q/C_FD，其中C_FD为浮置扩散电容，该电压经SF缓冲后由RS选通输出至列线。4T结构的关键优势在于“相关双采样”（CDS）：先读取FD复位后的电压（V_rst），再读取电荷转移后的电压（V_sig），两者相减可消除复位噪声和1/f噪声。而3T结构无TX和FD，直接读取PD电压，无法实现CDS，因此噪声较高。
操作流程：像素工作的完整时序如下：
- 复位阶段：RST开启，FD被复位到VDD，然后RST关闭。
- 采样保持：读取FD复位电压V_rst（CDS参考电平）。
- 电荷转移：TX开启，PD中电荷注入FD，FD电压下降。
- 信号读取：读取FD信号电压V_sig，与V_rst差分得到有效信号。
- 行选通：RS开启，信号通过列总线传输至ADC。
案例拆解：在暗光环境下（0.1 lux），某1/2.7英寸Sensor的像素尺寸为2.9μm，采用4T结构。实测暗电流为12 e-/s（25°C），满阱容量为8500 e-。若曝光时间为1/30s，暗电流噪声为√(12/30)≈0.63 e-，远小于读出噪声（约2.5 e-），因此暗光性能主要受读出噪声限制。若改用3T结构，读出噪声将升至8 e-，图像暗部将出现明显噪点。这解释了为何现代手机Sensor普遍采用4T或更先进的堆栈式结构。
2.3 彩色滤波阵列（CFA）与色彩还原
核心原理：CFA是覆盖在像素阵列上的微型滤光片阵列，最常见的为Bayer模式（RG/GB 2×2排列）。每个像素仅感知一种颜色（R、G或B），其余颜色信息需通过ISP的Demosaic（去马赛克）算法插值获得。Bayer模式中G像素占50%，R和B各占25%，这是因为人眼对绿色最敏感，且G通道包含更多亮度信息。CFA的透过率直接影响量子效率：典型Bayer CFA的R/G/B峰值透过率分别为90%/95%/85%，但G通道在550nm附近透过率最高，R和B在边缘波长处衰减明显。
判断方法：CFA设计需关注以下参数：
- 色彩串扰：相邻像素的滤光片可能因入射角度大而产生串扰，需通过微透镜偏移（Lens Shading Correction）补偿。
- 红外响应：硅对红外（>700nm）敏感，需在CFA上增加IR截止滤光片，否则色彩偏红。
- 非Bayer模式：如Quad Bayer（2×2同色）用于高像素模式，或RYYB（华为）提升进光量，但需更复杂的ISP算法。
案例拆解：某安防摄像头采用Quad Bayer CFA（IMX585），在暗光下将4个同色像素合并为1个大像素（binning 2×2），等效像素尺寸从1.45μm增至2.9μm，灵敏度提升4倍。但代价是色彩分辨率下降，需ISP通过“重排”算法恢复全分辨率色彩。实测在0.01 lux下，binning模式比全分辨率模式的SNR提升约6dB，但色彩伪彩（false color）增加，需通过色彩校正矩阵（CCM）和边缘增强补偿。
2.4 量子效率与灵敏度
核心原理：量子效率（QE）定义为每个入射光子产生并被收集的电子数，即QE(λ) = 电子数/光子数。QE受三层因素影响：微透镜的聚光效率（通常>90%）、CFA的透过率（约85%~95%）、光电二极管的量子转换效率（硅材料在可见光波段的理论极限约90%）。灵敏度则定义为传感器将光转换为电压或数字值的效率，常用单位有V/(lux·s)或DN/(nJ/cm²)。灵敏度与QE、像素面积（A_pixel）、转换增益（CG）的关系为：Sensitivity ∝ QE × A_pixel × CG。其中CG = q/C_FD，C_FD越小，CG越高，但满阱容量也越小。
操作流程：测量QE的工程方法如下：
- 使用单色仪产生特定波长（如450nm、550nm、650nm）的均匀光斑。
- 用标准功率计标定入射光功率密度（W/cm²）。
- 计算该波长下的光子通量：Φ = P/(h·c/λ)。
- 采集Sensor输出DN值，通过ADC增益和CG换算为电子数。
- QE = 电子数/光子数，绘制QE-λ曲线。
案例拆解：某车载摄像头Sensor（OX08B40）在550nm处QE为72%，在850nm处（红外）QE降至25%。由于车载摄像头需兼顾可见光与红外（如夜视补光），该Sensor采用“增强近红外”设计，通过加深PD耗尽层将850nm QE提升至35%。但代价是可见光QE下降5%，且暗电流增加。最终方案通过ISP的“双波段增益”策略：在白天使用可见光优化参数，夜间切换红外增强模式，平衡了两种场景的需求。