图像传感器基础：CCD/CMOS传感器原理、Bayer阵列、像素结构、暗电流与噪声来源
图像传感器是ISP（Image Signal Processor）处理链路的起点，也是决定图像质量上限的物理基础。无论ISP算法多么精妙，如果传感器端的光电转换效率低、噪声过大或色彩采样不完整，后续处理都难以弥补。本章将深入剖析CCD与CMOS传感器的核心差异、Bayer阵列的采样逻辑、像素内部结构，以及暗电流与各类噪声的物理来源，帮助你在ISP调试中建立“从像素出发”的底层判断力。
2.1 CCD与CMOS传感器：架构差异与信号读出方式
核心原理：CCD（电荷耦合器件）与CMOS（互补金属氧化物半导体）传感器虽然都基于光电效应，但信号读出架构截然不同。CCD采用全局快门（Global Shutter）方式，光生电荷在像素内积累后，通过垂直移位寄存器逐行转移到水平读出寄存器，再由单一输出放大器转换为电压。这种“电荷搬运”模式保证了像素间读出一致性极高，但代价是功耗大、帧率受限、无法单像素寻址。CMOS传感器则每个像素内置独立的电荷-电压转换放大器（Source Follower, SF），通过行列寻址方式直接读取任意像素，支持卷帘快门（Rolling Shutter）和窗口读取（ROI），功耗低、集成度高，但像素间放大器失配会引入固定模式噪声（FPN）。
判断方法：在ISP开发中，选择传感器类型需考虑以下维度：
| 对比维度 | CCD | CMOS |
|---|---|---|
| 读出方式 | 电荷逐行转移，单放大器输出 | 像素级放大器，行列寻址 |
| 噪声水平 | 读出噪声低（~2-3 e-） | 读出噪声较高（~4-10 e-），但CDS可抑制 |
| 功耗 | 高（多路时钟驱动） | 低（单电源，数字集成） |
| 快门类型 | 全局快门为主 | 卷帘快门为主，高端可全局 |
| ISP集成度 | 需外置AFE/ADC | 片上集成ADC、时序控制、甚至ISP |
| 适用场景 | 科学成像、工业检测 | 手机、安防、车载、消费电子 |
案例拆解：某工业相机项目原使用CCD传感器，帧率限制在15fps，无法满足产线高速检测需求。切换至全局快门CMOS（如Sony IMX系列）后，帧率提升至60fps，但发现暗部出现竖条纹。分析发现是CMOS列放大器失配导致列FPN。通过ISP端逐列增益校准（Column Gain Calibration）和暗帧减除，条纹完全消除。此案例说明，CMOS的列噪声需要通过校准流程补偿，而CCD则天然规避了该问题。
2.2 Bayer阵列：色彩采样的基础与ISP处理起点
核心原理：人眼对绿色最敏感，因此Bayer阵列采用RGGB（或BGGR、GRBG等变体）2×2周期排列，其中绿色像素占50%，红色和蓝色各占25%。每个像素仅采集单一颜色信息，ISP必须通过去马赛克（Demosaic）算法插值出全彩RGB图像。Bayer阵列的排列方向直接影响插值算法的选择——边缘方向、纹理区域的伪彩色（False Color）抑制都依赖于对阵列相位（Phase）的准确判断。
操作流程：在ISP调试中，处理Bayer数据需遵循以下步骤：
- 黑电平校准：从Bayer原始数据中减去传感器暗电流对应的偏移量（通常为64-128 LSB）。
- 坏点校正：检测并替换异常像素（亮点/暗点），避免插值扩散。
- 去马赛克：根据边缘方向自适应插值，优先沿边缘方向插值以减少伪彩色。
- 白平衡增益：分别对R、Gr、Gb、B通道施加不同增益，使灰色物体在RGB三通道响应一致。
- 色彩校正矩阵（CCM）：消除传感器光谱响应与标准RGB色域之间的偏差。
常见误区：初学者常忽略Gr和Gb通道的差异。由于微透镜和工艺布局，绿色像素在R行和B行的光响应可能存在1%-3%偏差，表现为网格状亮度不均匀（Green Imbalance）。ISP中需单独统计Gr/Gb均值并做比例校正，否则去马赛克后会出现固定纹理噪声。
2.3 像素结构：从光电二极管到电压输出的完整链路
核心原理：典型CMOS像素由以下部分组成：
- 光电二极管（PD）：PN结反偏耗尽区吸收光子产生电子-空穴对，光生电子在耗尽区被收集。PD面积决定满阱容量（Full Well Capacity），通常为10,000-80,000 e-。
- 传输门（TX）：控制PD中积累的电荷向浮置扩散区（FD）转移。TX关断时PD处于积分状态，开启时电荷完全转移。
- 浮置扩散区（FD）：一个高灵敏度电容节点，电荷注入后引起电压变化，转换增益（Conversion Gain）通常为30-100 μV/e-。
- 源极跟随器（SF）：将FD电压缓冲输出，但增益小于1（典型0.8-0.9），且存在阈值失配。
- 行选择管（RS）：将像素输出连接到列总线，实现行列寻址。
- 复位管（RST）：将FD复位到电源电压（VDD），为下一次读出做准备。
信号读出时序：先复位FD并采样复位电平（SHR），再打开TX转移电荷，采样信号电平（SHS），两者差值即为有效信号。这一过程称为相关双采样（CDS），可消除复位噪声和SF的1/f噪声。
案例拆解：某手机传感器在高温环境下出现“白点”增多现象。分析发现，高温导致PD暗电流增大，但更关键的是TX传输管在高温下漏电增大，电荷未完全转移导致残影（Image Lag）。通过ISP端增加暗帧减除和动态坏点检测，同时建议硬件团队优化TX时序（增加传输时间），问题得到缓解。此案例说明像素结构缺陷有时可通过ISP时序参数调整弥补。
2.4 暗电流与噪声来源：物理机制与ISP抑制策略
核心原理：暗电流是像素在无光照条件下，由于热激发产生的电子-空穴对被收集而形成的电流。其大小与温度强相关（每升高7°C约翻倍），且与积分时间成正比。暗电流在空间上不均匀，表现为固定模式噪声（FPN），在时间上则叠加散粒噪声。除暗电流外，传感器主要噪声源包括：
| 噪声类型 | 物理来源 | 特性 | ISP抑制方法 |
|---|---|---|---|
| 光子散粒噪声 | 光子到达的泊松随机性 | σ = √N，与信号相关 | 多帧平均、双边滤波 |
| 暗电流散粒噪声 | 热激发电子随机性 | 与温度、曝光时间相关 | 制冷、暗帧减除 |
| 复位噪声（kTC） | FD复位时热噪声 | σ = √(kTC/q) | CDS消除 |
| 1/f噪声 | SF晶体管表面态 | 低频主导 | CDS、增大像素面积 |
| 列放大器噪声 | 列电路热噪声 | 列间失配 | 列校准、行噪声滤波 |
| ADC量化噪声 | 模数转换量化误差 | 均匀分布 | 增加位深、抖动 |
判断方法：在ISP调试中，区分噪声来源至关重要。方法如下：
- 拍摄全黑帧（盖上镜头盖），统计均值与标准差——均值反映暗电流偏移，标准差反映暗噪声总量。
- 改变曝光时间，观察噪声变化——若噪声随曝光时间线性增加，则暗电流主导；若基本不变，则读出噪声主导。
- 改变增益（ISO），观察噪声变化——散粒噪声随增益平方根增加，读出噪声随增益线性增加。
- 拍摄均匀灰卡，分析空间频率——固定竖条纹为列噪声，随机颗粒为时间噪声。
案例拆解：某安防摄像头夜间低照度下图像出现“雪花”噪声。工程师通过上述方法诊断：曝光时间从10ms增至100ms时，噪声标准差从2.3 LSB增至7.8 LSB，判定暗电流主导。进一步测试发现传感器温度从25°C升至45°C时，暗电流噪声翻倍。解决方案：ISP端启用暗帧校准（每100帧插入一次暗帧），并增加温度传感器反馈，动态调整降噪强度。最终信噪比提升约6dB，图像可用性大幅改善。