4、图像传感器与噪声：传感器类型（CCD/CMOS）、量子效率、读出噪声、散粒噪声、信噪比与降噪基础
图像传感器是计算摄影的“视网膜”，它将入射光子转换为可处理的电信号。无论是手机中的背照式CMOS，还是科研级科学CMOS（sCMOS），其性能直接决定了后续计算摄影算法的上限。本章将深入剖析CCD与CMOS的结构差异、量子效率（QE）的物理含义、散粒噪声与读出噪声的数学模型，并建立信噪比（SNR）的工程评估框架，最后给出计算摄影中降噪处理的基础策略。理解这些底层机制，是设计HDR合成、多帧降噪、夜景模式等算法的重要前提。
4.1 传感器类型：CCD与CMOS的架构差异
核心原理
CCD（电荷耦合器件）与CMOS（互补金属氧化物半导体）图像传感器在电荷读出方式上存在本质区别。CCD采用全局快门（Global Shutter）和电荷逐行转移机制，所有像素的光生电荷先被收集在势阱中，再通过垂直移位寄存器逐行转移至水平读出寄存器，最后经单一输出放大器转换为电压。这种架构保证了像素间极高的电荷转移一致性，因此CCD的固定模式噪声（FPN）极低，暗场均匀性优异。然而，CCD需要多相时钟驱动，功耗较高，且无法在片上集成ADC、时序控制等逻辑电路。
CMOS传感器则采用有源像素结构（APS），每个像素内部包含光电二极管、复位晶体管、源极跟随器和行选晶体管。光生电荷在像素内直接转换为电压，并通过行列寻址方式逐行读出。现代CMOS多采用卷帘快门（Rolling Shutter），虽然存在果冻效应，但凭借高集成度、低功耗和高速读出能力，已成为消费电子和计算摄影的主流选择。背照式（BSI）和堆栈式（Stacked）工艺进一步提升了CMOS的量子效率和读出速度。
| 对比维度 | CCD | CMOS（现代BSI/堆栈式） |
|---|---|---|
| 电荷读出方式 | 电荷逐行转移，单一输出 | 像素内电压转换，行列寻址 |
| 固定模式噪声 | 极低（<0.5%） | 较低（需片上校正） |
| 量子效率峰值 | 约40%~60% | 约70%~90%（BSI） |
| 读出噪声 | 2~5 e⁻（科研级可至1 e⁻） | 1~3 e⁻（堆栈式） |
| 功耗与集成度 | 高功耗，无法集成逻辑 | 低功耗，可集成ISP/ADC |
| 快门方式 | 全局快门 | 卷帘快门为主，部分全局 |
判断方法
在计算摄影系统设计中，选择传感器类型需考虑以下关键指标：量子效率（QE）决定了传感器对光子的利用率，直接影响低光性能；满阱容量（FWC）决定了单像素可存储的最大电子数，影响动态范围；读出噪声是暗光下信噪比的主要限制因素。对于需要全局快门捕捉快速运动物体的场景（如工业检测），应优先选择CCD或全局快门CMOS；对于手机、无人机等功耗敏感设备，背照式堆栈CMOS是更合理的选择。
4.2 量子效率与光电转换模型
核心原理
量子效率定义为入射光子转换为光生电子的概率，是波长λ的函数。QE(λ) = 光生电子数 / 入射光子数。硅基传感器的QE曲线在可见光波段（400~700nm）通常呈现钟形分布，峰值位于550nm附近（绿光区域）。背照式工艺通过将光电二极管移至硅片背面，避免了正面金属布线对入射光的遮挡，使QE从传统前照式的50%左右提升至80%以上。此外，微透镜阵列（Microlens Array）和深光电二极管（Deep Photodiode）技术进一步优化了QE对入射角度的响应。
光生电子数N_e⁻的计算公式为：
N_e⁻ = Φ(λ) × QE(λ) × A_pixel × t_exp其中Φ(λ)为入射光子通量密度（ph/s·μm²），A_pixel为像素面积（μm²），t_exp为曝光时间（s）。在实际系统中，还需考虑红外截止滤光片（IR-cut Filter）和镜头透过率的影响，通常引入系统总透过率T_optics（约0.7~0.9）。
操作流程
- 测量QE曲线：使用单色仪配合标准光源，在400~1000nm范围内以10nm步进测量传感器输出DN值，结合已知入射光子数计算QE。
- 计算系统灵敏度：将QE(λ)与光源光谱分布、镜头透过率卷积，得到加权量子效率QE_weighted。
- 评估低光性能：在1 lux照度下，计算单像素每秒产生的光生电子数，判断是否低于读出噪声的平方（即散粒噪声与读出噪声的交叉点）。
4.3 散粒噪声与读出噪声的数学建模
核心原理
散粒噪声（Shot Noise）源于光子到达的随机性，服从泊松分布。其标准差σ_s = √(N_e⁻)，这意味着信号越强，散粒噪声的值越大，但信噪比SNR_s = N_e⁻/√(N_e⁻) = √(N_e⁻) 随信号增强而提高。散粒噪声是量子极限，无法通过电路设计消除，只能通过增加收集的光子数来改善。
读出噪声（Read Noise）是传感器在将电荷转换为电压、放大和数字化过程中引入的噪声总和，包括复位噪声（kTC噪声）、源极跟随器热噪声、列放大器噪声和ADC量化噪声。现代CMOS通过相关双采样（CDS）技术可有效消除复位噪声，使读出噪声降至1~3 e⁻。读出噪声与信号强度无关，在暗光条件下成为主要噪声源。
判断方法
总噪声的合成遵循独立噪声源平方和开根法则：
σ_total = √(σ_s² + σ_r² + σ_d² + σ_ADC²)其中σ_d为暗电流噪声（与曝光时间和温度相关），σ_ADC为量化噪声（通常为1/√12 LSB）。当N_e⁻ < σ_r²时，系统处于读出噪声主导区；当N_e⁻ > σ_r²时，进入散粒噪声主导区。交叉点N_cross = σ_r²是评估传感器低光性能的重要参数。例如，读出噪声2 e⁻的传感器，交叉点仅为4 e⁻，意味着在极低光照下仍能保持接近量子极限的性能。
| 噪声类型 | 来源 | 统计特性 | 与信号关系 | 抑制方法 |
|---|---|---|---|---|
| 散粒噪声 | 光子随机到达 | 泊松分布 | σ ∝ √N | 增加曝光/多帧合成 |
| 读出噪声 | 电路热噪声/kTC | 高斯分布 | 与信号无关 | CDS、低噪声设计 |
| 暗电流噪声 | 热激发载流子 | 泊松分布 | 与曝光时间相关 | 制冷、暗帧减除 |
| 固定模式噪声 | 像素工艺失配 | 固定偏移 | 与信号无关 | 片上校正/标定 |
常见误区
4.4 信噪比（SNR）评估与降噪基础
核心原理
信噪比是衡量图像质量的核心指标，定义为信号功率与噪声功率之比，通常以dB表示：SNR_dB = 20·log10(N_e⁻/σ_total)。在计算摄影中，SNR直接影响动态范围扩展、色彩还原和细节保留能力。高SNR区域（如亮部）可以承受更强的压缩和增强处理，而低SNR区域（如阴影）则需要谨慎处理以避免噪声放大。
降噪基础策略分为空间域和时间域两类。空间域方法包括双边滤波、非局部均值（NLM）和BM3D，利用图像局部统计特性抑制噪声；时间域方法包括多帧平均、多帧堆栈和运动补偿降噪，利用多帧间的随机噪声不相关性进行平均。现代计算摄影通常结合两者：先进行多帧配准和融合，再对残余噪声进行空间域处理。
操作流程
- 测量传感器噪声参数：在暗场条件下拍摄多帧，计算像素标准差得到读出噪声；在均匀光照下拍摄，计算信号与噪声关系验证散粒噪声模型。
- 建立SNR曲线：以曝光量（lux·s）为横轴，SNR为纵轴，绘制不同ISO下的SNR曲线，确定各ISO下的动态范围和噪声交叉点。
- 设计降噪流程：根据场景光照条件选择降噪策略——暗光场景优先多帧合成，正常光照使用轻量级空间滤波，高光场景注意保护细节。
总结复盘
本章核心要点可归纳为：传感器选型需综合QE、读出噪声、满阱容量和快门方式；噪声建模是降噪算法设计的基础，必须区分散粒噪声（信号相关）和读出噪声（信号无关）；SNR评估应贯穿整个成像链路，从光子入射到数字输出；降噪策略需根据光照条件和场景动态选择，多帧合成是计算摄影中最有效的降噪手段之一。在实际项目中，建议建立传感器噪声标定流程，定期测量QE和读出噪声的漂移，确保算法参数与硬件状态匹配。