图像传感器基础：CMOS/CCD工作原理、像素结构、量子效率、暗电流、噪声源分析
图像传感器是ISP（Image Signal Processor）处理链路的起点，也是决定图像质量上限的物理边界。无论ISP算法多么先进，如果传感器端的光电转换效率低、噪声基底高或像素结构存在缺陷，后续处理都难以弥补。本章从半导体物理与电路设计双重视角，系统拆解CMOS与CCD传感器的工作原理、像素结构差异、量子效率（QE）、暗电流成因以及噪声源分类，帮助学员建立从器件物理到ISP调优的完整认知链路。
3.1 CMOS与CCD工作原理对比
CMOS（Complementary Metal-Oxide-Semiconductor）与CCD（Charge-Coupled Device）虽然都基于光电效应实现光子到电子的转换，但在电荷读出机制上存在本质差异。CCD采用电荷耦合移位寄存器方式，光生电荷在像素内积累后，通过垂直与水平移位寄存器逐行逐列地转移到输出端的单一放大器进行电荷-电压转换。这种"全局转移、单点读出"架构保证了极高的电荷转移效率（典型值99.999%以上）和优异的像素一致性，但代价是读出速度受限、功耗较高，且无法实现随机访问。
CMOS传感器则在每个像素内集成独立的电荷-电压转换放大器（Source Follower, SF）和行选开关（Row Select, RS），通过行列寻址方式直接读取每个像素的电压信号。这种"像素级放大、并行读出"架构带来了三大优势：一是读出速度快，支持高帧率视频；二是功耗显著降低（仅为CCD的1/10~1/5）；三是支持窗口读取（ROI）、多曝光等灵活控制。但代价是像素内晶体管占用了感光面积，导致填充因子（Fill Factor）下降，且像素间放大器的阈值电压差异引入了固定模式噪声（FPN）。
3.2 像素结构：从3T到堆栈式
像素结构直接决定了传感器的灵敏度、噪声水平和动态范围。传统3T像素由光电二极管（PD）、复位晶体管（RST）、源极跟随器（SF）和行选晶体管（RS）组成，结构简单但存在复位噪声大、无法实现全局快门等缺陷。4T像素在PD与SF之间增加了传输门（Transfer Gate, TG）和浮置扩散节点（Floating Diffusion, FD），实现了相关双采样（CDS）——先读取复位电平，再读取信号电平，两者相减即可消除复位噪声和大部分1/f噪声。
现代背照式（BSI）和堆栈式（Stacked）结构进一步优化了性能。BSI将光电二极管置于芯片背面，避免了正面金属布线和晶体管对入射光的遮挡，量子效率可提升20-30%。堆栈式结构则将像素阵列与逻辑电路（ADC、ISP、DRAM）分层制造，通过硅通孔（TSV）连接，不仅实现了全局快门，还支持更高帧率和更小的像素尺寸（如0.7μm像素）。
| 像素结构 | 感光层位置 | 填充因子 | 噪声水平 | 典型应用 |
|---|---|---|---|---|
| 3T (FSI) | 正面 | 30-50% | 高（无CDS） | 低端工业相机 |
| 4T (FSI) | 正面 | 40-60% | 中（有CDS） | 中端安防/工业 |
| 4T (BSI) | 背面 | 70-85% | 低 | 手机/运动相机 |
| 堆栈式 (Stacked) | 背面+逻辑层 | 85%+ | 极低 | 旗舰手机/高速相机 |
ISP开发人员需要关注像素结构对RAW图数据的影响：BSI传感器通常具有更高的灵敏度，但微透镜与CFA的串扰（Crosstalk）也更明显，需要更强的色彩校正矩阵（CCM）和去马赛克算法。堆栈式传感器支持多帧HDR和超高速视频，但TSV引入的局部温度升高可能加剧暗电流非均匀性。
3.3 量子效率与光谱响应
量子效率（Quantum Efficiency, QE）定义为入射光子转换为光生电子的概率，是衡量传感器光电转换能力的核心指标。QE受三个因素制约：微透镜聚光效率、CFA透射率、光电二极管对特定波长的吸收系数。典型CMOS传感器在550nm绿光波段的QE为60-85%，在450nm蓝光波段降至40-60%，在650nm红光波段为50-70%。近红外（NIR）波段QE急剧下降，除非使用特殊深耗尽二极管或去除CFA的单色版本。
QE的光谱依赖性直接影响了ISP的白平衡算法和色彩还原精度。例如，在低色温（如白炽灯2700K）环境下，红光成分丰富而蓝光成分稀缺，如果传感器蓝光QE较低，B通道信噪比将显著恶化，ISP需要更强的蓝色通道增益，同时放大噪声。这就是为什么ISP的自动白平衡（AWB）算法必须结合传感器光谱响应曲线进行增益约束，而非简单地对RGB通道做独立增益。
3.4 暗电流与温度特性
暗电流（Dark Current）是像素在无光照条件下，由于热激发产生的电子-空穴对被收集而形成的电流。暗电流的主要来源包括：耗尽区内的热产生、Si-SiO2界面态的热激发、以及缺陷辅助隧穿。暗电流大小与温度呈指数关系，经验公式为：I_dark(T) = I_dark(25℃) × 2^((T-25)/8)，即温度每升高8℃，暗电流翻倍。在60℃环境下，暗电流可能达到25℃时的8倍以上。
暗电流不仅产生固定偏置，更严重的是其空间非均匀性（DSNU, Dark Signal Non-Uniformity）和随时间波动的暗电流散粒噪声。DSNU表现为暗场图像上的固定斑点或列条纹，ISP必须通过暗场校正（Dark Frame Subtraction）或黑电平校准（Black Level Calibration）来消除。暗电流散粒噪声则服从泊松分布，其标准差等于暗电流电子数的平方根，在长曝光（>1s）或高温场景下成为主要噪声源。
// 暗电流校正流程（ISP软件实现）
1. 采集暗帧：遮挡镜头，使用与目标场景相同的曝光时间和增益，采集N帧（N≥16）暗场图像
2. 计算暗帧均值：对N帧逐像素求平均，得到暗帧均值图 D(x,y)
3. 计算暗帧标准差：逐像素求标准差，得到噪声图 σ_dark(x,y)
4. 校正：I_corrected(x,y) = I_raw(x,y) - D(x,y)
5. 可选：对σ_dark进行空间平滑，用于后续降噪强度控制在ISP工程中，暗电流校正通常在传感器驱动层完成（通过寄存器配置黑电平），但ISP仍需保留暗帧减除功能以应对温度变化。对于长曝光场景（如天文摄影、荧光显微），建议在曝光前后各采集一帧暗帧进行插值校正，以补偿温度漂移。
3.5 噪声源系统分析与ISP对策
传感器噪声源可分为三大类：光子散粒噪声（Shot Noise）、暗电流噪声（Dark Current Noise）和读出噪声（Read Noise）。光子散粒噪声服从泊松分布，其标准差等于信号电子数的平方根，是物理极限不可消除；暗电流噪声与曝光时间和温度相关；读出噪声包括复位噪声（kT/C）、源极跟随器热噪声、列放大器噪声和ADC量化噪声，通常在CDS后降至2-10 e- rms。
从ISP处理角度看，不同噪声源需要不同的降噪策略：
- 光子散粒噪声：信号相关，亮区噪声大于暗区。ISP应使用信号相关降噪（Signal-Dependent Noise Model），在亮区加强降噪强度，暗区保持细节。
- 暗电流噪声：与温度强相关，且包含固定分量（DSNU）和随机分量。固定分量通过暗帧校正消除，随机分量通过时域滤波（多帧平均）抑制。
- 读出噪声：信号无关，在暗部表现明显。ISP的降噪算法应针对暗部区域采用更强的空域滤波，同时配合锐化补偿。
- 固定模式噪声（FPN）：包括列FPN和像素FPN，表现为竖条纹或网格状图案。ISP需通过列校正（Column Correction）和像素校正（Pixel Correction）查表消除。
σ_total = √(σ_read² + σ_dark² + k × signal)，其中k为散粒噪声系数（通常为1），根据信号电平动态调整降噪参数。此外，不要忽视传感器增益（ISO）对噪声的影响——增益每提升一倍，读出噪声在输出端被放大一倍，但散粒噪声只放大√2倍，因此高ISO下应侧重时域降噪而非空域降噪。
3.6 实战案例：暗光环境下传感器噪声分析与ISP调优
背景与约束：某安防摄像头项目采用1/2.7英寸BSI CMOS传感器，像素尺寸2.9μm，最大增益48dB（ISO 1600等效），目标在0.1 lux照度下输出可用彩色图像（SNR≥25dB）。实测发现，在30℃环境温度、40ms曝光时间、24dB增益条件下，暗部区域（信号电平<10 DN）出现明显竖条纹和颗粒感。
初始现象与数据：通过采集全黑帧（镜头盖遮挡）分析，发现列FPN幅度约±3 DN（8bit输出），像素FPN约±1.5 DN，随机噪声标准差约2.8 DN。进一步拆解：读出噪声（含ADC）约1.8 e-，暗电流约25 e-/s（30℃），换算到40ms曝光为1 e-，散粒噪声在信号10 e-时为3.16 e-。总噪声理论值：√(1.8² + 1² + 3.16²) ≈ 3.8 e-，与实测2.8 DN（换算约3.5 e-）基本吻合。
分析判断：竖条纹主要来自列ADC的增益失配（约0.5%），属于固定模式噪声；颗粒感主要来自散粒噪声与读出噪声的叠加。由于信号电平极低（10 e-），散粒噪声占比达83%，单纯增加空域降噪会严重损失细节。
实际操作步骤：
- 在ISP前端启用列FPN校正：采集64帧暗场，计算每列均值偏移，生成列校正系数表，校正后竖条纹降至±0.5 DN以内。
- 调整降噪策略：将降噪分为两级——第一级为时域降噪（3帧递归滤波），针对随机噪声；第二级为边缘保护空域降噪（Bilateral Filter），强度根据信号电平动态调整（暗区强度0.6，亮区强度0.2）。
- 优化黑电平校准：将黑电平从默认的64 DN调整为基于暗帧统计的自动校准值（每100帧更新一次），消除温度漂移影响。
- 调整增益分配：将模拟增益从24dB降至18dB，数字增益补偿6dB，以降低模拟链路噪声放大（模拟增益每增加6dB，读出噪声贡献增加一倍）。
结果对比：优化后，暗部SNR从22.1dB提升至26.3dB，竖条纹主观不可见，细节保留度（MTF50）从0.32提升至0.38。代价是时域降噪引入了轻微运动拖影（在1像素/帧运动下拖影约2像素），通过运动检测自适应调整递归系数后，拖影降至可接受范围。
复盘经验：暗光调优必须遵循"先校正固定噪声，再处理随机噪声"的顺序。固定模式噪声不消除，任何降噪算法都会将其放大。同时，增益分配策略对SNR影响显著——在条件允许时，优先增加曝光时间而非模拟增益，因为曝光时间增加信号和散粒噪声同步增长，而增益增加会放大读出噪声。
3.7 总结与工程清单
图像传感器是ISP处理链路的物理基础，理解其工作原理和噪声特性是进行有效调优的前提。本章核心要点可归纳为以下工程清单：
| 检查项 | 关键参数 | ISP应对策略 |
|---|---|---|
| QE与光谱响应 | QE@550nm ≥ 60% | 白平衡增益约束、色彩校正矩阵 |
| 暗电流 | ≤ 50 e-/s @25℃ | 黑电平校准、暗帧减除、温度补偿 |
| 读出噪声 | ≤ 5 e- rms (CDS后) | 时域降噪、增益分配优化 |
| 列FPN | ≤ 0.3% 满阱 | 列校正查表、暗场统计 |
| 像素FPN | ≤ 0.1% 满阱 | 像素校正、缺陷像素替换 |
| 散粒噪声 | √N (物理极限) | 信号相关降噪、多帧HDR |
在实际项目中，建议ISP工程师在传感器选型阶段就获取完整的datasheet和QE曲线，并在实验室完成暗场、亮场、温度梯度等基础测试，建立传感器噪声模型。这个模型将贯穿后续所有ISP调优工作，成为降噪、HDR、色彩还原等算法的设计依据。