图像传感器基础：CCD与CMOS传感器原理、像素结构、感光特性、彩色滤波阵列（CFA）与Bayer格式
图像传感器是ISP（Image Signal Processor）处理链路的起点，其性能上限直接决定了后续图像质量的“天花板”。无论是手机摄像头、安防监控，还是车载感知系统，ISP工程师都必须深刻理解传感器输出的原始数据格式、噪声特性以及色彩采样方式。本章将系统讲解CCD与CMOS两大主流传感器的原理差异、像素结构、感光特性，并重点剖析彩色滤波阵列（CFA）与Bayer格式——这是ISP处理中最基础也最关键的输入约束。
核心原理：CCD与CMOS的电荷读出差异
CCD（电荷耦合器件）与CMOS（互补金属氧化物半导体）传感器虽然都基于光电效应将光子转换为电子，但两者的读出机制截然不同。CCD采用“全局快门”式电荷转移：光生电子在像素内积累后，通过垂直移位寄存器逐行转移至水平读出寄存器，再由单一输出放大器转换为电压信号。这种串行读出方式保证了像素间极高的一致性，但也带来了功耗高、帧率受限、无法随机访问等缺点。
CMOS传感器则在每个像素内集成了放大器和寻址开关，采用X-Y寻址方式直接读取任意像素的电压。这种并行读出架构使得CMOS在功耗、帧率、集成度上具有显著优势，且支持窗口读取（ROI）和逐行曝光控制。现代背照式（BSI）和堆栈式（Stacked）CMOS技术进一步缩小了像素间距，同时保持了良好的量子效率。
从ISP工程师的角度，两种传感器的关键差异体现在噪声模型上：CCD的读出噪声主要来自输出放大器的热噪声和复位噪声，而CMOS的噪声来源更复杂，包括像素内源跟随器的1/f噪声、列放大器的失调（Fixed Pattern Noise, FPN）以及行噪声（Row Noise）。这直接决定了ISP中降噪模块的算法设计——CMOS传感器通常需要更强的空间降噪和行噪声校正。
像素结构与感光特性
一个典型的CMOS像素由光电二极管（PD）、传输门（TX）、复位晶体管（RST）、源跟随器（SF）和行选晶体管（SEL）组成。光电二极管负责将光子转换为电子，其耗尽区宽度决定了量子效率（QE）和暗电流大小。传输门控制电荷从PD转移至浮置扩散节点（FD），FD的电容大小决定了转换增益（CG），单位为μV/e-。高转换增益有助于降低读出噪声，但会压缩满阱容量（FWC），因此需要在灵敏度和动态范围之间权衡。
感光特性中最重要的三个参数是量子效率（QE）、满阱容量（FWC）和暗电流（Dark Current）。QE表示入射光子转换为电子的比例，受微透镜、滤光片和像素表面结构影响；FWC决定了单像素能存储的最大电子数，直接关联到传感器的动态范围（DR = 20·log(FWC/读出噪声)）；暗电流则是无光照时热激发产生的电子，随温度升高呈指数增长，在长曝光场景（如天文摄影）中尤为关键。
对于ISP工程师，理解像素结构有助于判断图像中的固定噪声模式。例如，源跟随器阈值电压的失配会导致列方向上的固定条纹，而传输门不完全关断则可能产生拖影（Smear）。这些物理效应最终都会反映在RAW图像中，需要ISP通过黑电平校准、坏点校正和列噪声消除等模块进行补偿。
彩色滤波阵列（CFA）与Bayer格式
由于单个像素只能感知光的强度而无法区分颜色，必须在像素表面覆盖彩色滤波阵列（CFA）来获取色彩信息。最经典的Bayer格式采用2×2单元排列：一个红色（R）、一个蓝色（B）和两个绿色（G）像素，其中G像素占50%以匹配人眼对绿色最敏感的特性。这种RGGB排列是当前90%以上图像传感器采用的标准格式。
Bayer格式的RAW数据具有以下特征：每个像素仅包含单一颜色通道的强度值，空间分辨率在R/B通道为1/4，G通道为1/2。ISP的Demosaic（去马赛克）模块需要利用相邻像素的相关性插值出缺失的颜色信息。常见的插值算法包括双线性插值、边缘导向插值和基于梯度的方法，但所有算法都面临一个根本矛盾：在边缘和纹理区域，插值容易产生伪彩色（Color Artifact）和拉链效应（Zipper Effect）。
除了标准RGGB，还存在其他CFA排列方式，如RGBW（增加白色像素提升低光灵敏度）、RCCB（用于安防监控）、以及X-Trans（富士胶片，采用6×6周期排列以减少摩尔纹）。ISP工程师需要根据CFA类型调整Demosaic算法和自动白平衡（AWB）的统计权重，因为不同颜色通道的响应比例直接影响色彩还原的准确性。
| 参数/特性 | CCD传感器 | CMOS传感器 | ISP影响 |
|---|---|---|---|
| 读出方式 | 串行电荷转移 | 并行X-Y寻址 | CMOS支持ROI窗口读取，便于ISP局部处理 |
| 噪声特性 | 输出放大器噪声为主 | 像素级+列级噪声 | CMOS需更强的行噪声校正和FPN消除 |
| 功耗 | 较高（多路时钟驱动） | 较低（单电源供电） | 移动设备优先选择CMOS |
| 满阱容量 | 较大（典型50-100Ke-） | 较小（典型10-30Ke-） | CCD动态范围更高，但CMOS可用多帧HDR补偿 |
| 暗电流 | 较低（衬底较厚） | 较高（浅结+金属层反射） | CMOS长曝光需暗电流减除 |
| 快门方式 | 全局快门（机械/电子） | 卷帘快门为主，全局快门可选 | 卷帘快门在运动场景需ISP防畸变处理 |
判断方法与工程操作流程
在实际项目中，ISP工程师拿到一颗新传感器时，需要按照以下流程完成初始化与验证：
- 读取传感器寄存器手册：确认输出格式（RAW10/RAW12）、MIPI Lane数、时钟频率范围、曝光和增益控制寄存器地址。
- 配置PLL和输出时序：通过I2C写入寄存器，设置输出像素时钟和帧率，确保与ISP输入接口匹配。
- 采集RAW图像：使用示波器或逻辑分析仪验证MIPI信号完整性，然后通过ISP的RAW抓取功能保存一帧原始数据。
- 检查图像质量基线：在标准D65光源下拍摄灰卡，检查黑电平（Black Level）、R/G/B通道比例、以及是否存在坏点或行噪声。
- 标定CFA增益：计算各通道的白色平衡增益，写入ISP的AWB模块作为初始值。
其中，黑电平校准是第一步也是最关键的一步。传感器通常会在像素阵列边缘设置光学黑像素（OPB），ISP通过读取这些像素的平均值来减去暗电流和偏置。如果黑电平校准不准确，后续的Demosaic和色彩校正都会产生色偏。
实战场景：CMOS传感器行噪声排查
某安防摄像头项目使用SONY IMX385传感器，在低照度（0.1 lux）下发现RAW图像存在明显的水平条纹。通过分析RAW数据，发现每行像素的平均值呈周期性波动，波动幅度约3个LSB（12bit）。
分析过程：首先排除电源噪声——用示波器测量AVDD和DVDD纹波，发现DVDD在行同步期间有约20mV的跌落。进一步检查PCB布局，发现DVDD的去耦电容距离传感器电源引脚过远（超过5mm），导致高频噪声无法有效滤除。
解决方案：在传感器DVDD引脚附近增加100nF + 4.7μF的MLCC电容组合，并将电容接地过孔靠近引脚放置。修改后重新采集，行噪声幅度降至0.5 LSB以下，图像质量明显改善。
复盘经验：CMOS传感器的行噪声往往与电源完整性直接相关，ISP工程师在调试时应优先检查供电纹波，而不是盲目调整降噪算法。
常见误区与总结复盘
在传感器与ISP的联合调试中，初学者常犯以下错误：
- 忽视黑电平校准：直接使用默认黑电平值，导致暗部偏色或偏绿。正确做法是每次上电后根据OPB区域重新计算。
- 混淆Bayer格式排列：不同传感器可能采用RGGB、BGGR或GBRG排列，若ISP配置错误，图像会呈现严重的颜色错乱。务必通过寄存器或数据手册确认CFA起始位置。
- 忽略传感器温度影响：暗电流随温度升高而增大，长曝光场景下黑电平会漂移。ISP应具备温度补偿机制，或定期重新校准。
- 过度依赖Demosaic算法：再好的插值算法也无法完全恢复丢失的色彩信息，应在传感器端优化CFA设计（如增加G像素比例）来减轻ISP负担。
总结而言，图像传感器是ISP处理链路的“源头之水”。理解CCD与CMOS的物理原理、像素结构、感光特性以及Bayer CFA的采样规律，是ISP工程师做出正确算法选择和参数调优的基础。在实际项目中，建议建立传感器特性档案，记录每颗传感器的黑电平、噪声水平、CFA增益等关键参数，并定期复测以应对器件老化或批次差异。只有将传感器特性吃透，ISP的后续处理才能做到“有的放矢”。