3、图像传感器与RAW数据：CMOS/CCD传感器工作原理、RAW格式特性、Bayer阵列、多帧RAW数据获取
图像传感器是AI-ISP处理链路的起点，其输出的RAW数据质量直接决定了后续神经网络修复与增强的上限。理解CMOS与CCD的物理工作机制、RAW格式的位深与布局、Bayer阵列的色彩采样逻辑，以及多帧RAW的获取与对齐方式，是构建混合ISP架构的基石。本节将系统拆解从光子入射到RAW数据落盘的完整链路，并重点分析AI-ISP场景下对传感器与RAW数据的特殊要求。
3.1 核心原理：CMOS与CCD的物理工作机制
图像传感器的本质是将光子的空间分布转换为电信号的二维阵列。CCD（电荷耦合器件）与CMOS（互补金属氧化物半导体）在电荷读出方式上存在根本差异，这决定了它们在噪声特性、功耗、速度与集成度上的不同表现。
CCD传感器工作原理：CCD的每个像素仅包含一个光电二极管和一个电荷存储区，曝光期间产生的光生电荷在像素内积累。读出时，通过垂直移位寄存器将每行电荷逐行转移到水平移位寄存器，再经单一输出放大器转换为电压。这种"全局转移"机制使得CCD具有极高的电荷转移效率（通常大于99.999%）和极低的固定模式噪声（FPN）。然而，CCD需要多相时钟驱动，功耗较高，且难以将ADC、时序控制等外围电路集成在同一芯片上，因此系统体积较大。
CMOS传感器工作原理：CMOS传感器在每个像素内集成了光电二极管、复位晶体管、源极跟随器和行选晶体管（即3T或4T有源像素结构）。曝光后，每个像素通过自身的源极跟随器将电荷转换为电压，再通过列并行ADC逐行读出。这种架构允许将时序控制、ADC、增益放大、甚至简单的ISP处理集成在同一颗芯片上，显著降低了系统功耗和体积。现代CMOS传感器普遍采用背照式（BSI）和堆栈式（Stacked）结构，将像素层与逻辑电路层分开制造，进一步提升了量子效率和读出速度。
在AI-ISP的应用场景中，CMOS传感器占据主导地位，原因在于：其一，AI-ISP需要RAW数据流进行神经网络推理，CMOS的列并行读出架构天然支持高帧率输出；其二，堆栈式CMOS可以将DRAM集成在传感器内部，实现多帧RAW数据的临时存储与快速读取，为多帧融合算法提供硬件基础；其三，CMOS的卷帘快门（Rolling Shutter）虽然存在果冻效应，但配合全局快门（Global Shutter）技术，可以在高速场景下避免运动畸变。
| 对比维度 | CCD传感器 | CMOS传感器 | AI-ISP适配性 |
|---|---|---|---|
| 读出方式 | 电荷逐行转移，单一输出 | 像素内电压转换，列并行读出 | CMOS列并行更适合高帧率RAW流 |
| 噪声特性 | 读出噪声低，FPN小 | 像素内晶体管引入随机噪声 | AI去噪可补偿CMOS噪声 |
| 功耗 | 高（多相时钟驱动） | 低（单电源，集成度高） | CMOS适合移动端AI-ISP |
| 集成度 | 低，需外置ADC/驱动 | 高，可集成ADC/DSP/DRAM | 堆栈式CMOS支持片上多帧缓存 |
| 快门类型 | 全局快门为主 | 卷帘/全局快门可选 | 全局快门CMOS适合动态场景 |
3.2 RAW格式特性与Bayer阵列
RAW数据是传感器ADC输出的原始数字信号，未经任何去马赛克、白平衡或色彩校正处理。其核心特性包括位深、色彩滤波阵列（CFA）布局、黑电平偏移和线性/非线性响应。
Bayer阵列的采样逻辑：标准Bayer阵列采用2×2最小重复单元，包含1个红色（R）、2个绿色（G）和1个蓝色（B）像素，即RGGB排列。绿色像素数量是红蓝的两倍，这是因为人眼对绿色波段（约550nm）的亮度感知最为敏感。每个像素仅记录单一波段的强度值，因此RAW数据是单通道的灰度图像，必须通过去马赛克算法插值出完整的RGB三通道信息。在AI-ISP中，Bayer阵列的RAW数据直接作为神经网络的输入，网络需要学习从单通道到三通道的非线性映射，这比传统插值方法能保留更多高频细节。
RAW格式的关键参数：
- 位深（Bit Depth）：常见为10bit、12bit、14bit。位深决定了量化噪声的下限，12bit RAW的理论动态范围为72dB，而14bit可达84dB。AI-ISP处理时，通常将RAW数据归一化到[0,1]浮点范围，但需保留原始位深信息以避免量化误差。
- 黑电平（Black Level）：传感器在无光照射时仍会输出一个非零的偏置值，通常为ADC码值的1%-3%。黑电平需要在RAW预处理中减去，否则会影响暗部细节的准确性。
- 线性与压缩格式：大多数传感器输出线性RAW数据，但部分高动态范围传感器采用多段线性或对数压缩RAW（如Fujifilm的SuperCCD EXR）。AI-ISP需要根据传感器的响应曲线进行逆变换，才能恢复线性光强。
- MIPI CSI-2传输：RAW数据通常通过MIPI CSI-2接口传输，使用D-PHY或C-PHY物理层。RAW10/RAW12/RAW14分别对应每个像素10/12/14bit的数据打包格式，传输时需注意数据对齐和虚拟通道的分配。
3.3 多帧RAW数据获取：时序控制与对齐策略
多帧RAW数据是AI-ISP实现HDR、降噪和超分辨率的基础。根据应用场景的不同，多帧获取策略分为时间多帧、曝光多帧和空间多帧三种模式。
时间多帧（Temporal Multi-Frame）：在同一曝光参数下连续拍摄多帧RAW，用于时域降噪。由于传感器噪声在时间维度上是随机的，多帧平均可以有效降低随机噪声。AI-ISP中的多帧去噪网络（如基于光流对齐的3D CNN）需要输入2-8帧RAW，帧间存在微小的位移和亮度变化。获取时需注意帧间隔应尽量短，以减少运动物体的位移量。
曝光多帧（Exposure Bracketing）：以不同曝光时间（如短曝光1/1000s、中曝光1/125s、长曝光1/15s）拍摄同一场景，用于HDR合成。短曝光保留高光细节，长曝光保留暗部细节。AI-ISP的HDR融合网络需要将多帧RAW在亮度域对齐，并处理运动区域的鬼影问题。获取时需注意曝光比通常为2的幂次（如1:4:16），以保证融合后的动态范围最大化。
空间多帧（Spatial Multi-Frame）：通过传感器位移（如像素移位技术）或相机抖动获取亚像素偏移的多帧RAW，用于超分辨率重建。例如，某些高端相机通过传感器微位移获取4帧RAW，每帧偏移0.5像素，从而重建出4倍分辨率的图像。AI-ISP的超分网络需要精确的亚像素配准信息，通常通过相位相关或特征匹配算法估计。
多帧RAW获取的关键技术指标包括：帧同步精度（需小于1/10像素）、曝光切换时间（需小于帧间隔的10%）、以及片上DRAM的容量（决定可缓存的最大帧数）。在堆栈式CMOS传感器中，片上DRAM容量通常为1-2Gb，可缓存8-16帧1080P RAW数据。
3.4 案例拆解：基于多帧RAW的AI-ISP夜景降噪系统
以某旗舰手机的主摄夜景模式为例，其AI-ISP系统需要处理6帧RAW数据（3帧短曝光+3帧长曝光），最终输出一张低噪声、高动态范围的12MP图像。
背景与约束：传感器为1/1.28英寸堆栈式CMOS，单像素尺寸1.22μm，12bit RAW输出，支持双原生ISO（ISO 100/ISO 800）。系统约束为：单帧RAW数据量约24MB（4000×3000×12bit），6帧总计144MB，需在1秒内完成采集与处理；手机SoC的NPU算力为15 TOPS，内存带宽为34GB/s。
初始现象与目标：在0.1lux照度下，单帧RAW的SNR仅为8dB，暗部噪声明显，高光区域（如路灯）过曝。目标是将输出图像的SNR提升至28dB以上，同时保留高光细节，处理延迟不超过800ms。
关键输入数据与参数：
传感器参数：
- 满阱容量：FWC = 48000 e-
- 读出噪声：N_read = 2.1 e- (ISO 100), 1.4 e- (ISO 800)
- 暗电流：D = 12 e-/s @ 25°C
- 量子效率：QE = 72% @ 550nm
- 黑电平：BL = 64 LSB (12bit)
曝光参数：
- 短曝光：1/250s, ISO 800, 3帧
- 长曝光：1/30s, ISO 100, 3帧
- 曝光比：1:8.3分析判断过程：首先计算单帧RAW的理论SNR。短曝光帧在ISO 800下的总噪声为：√(N_shot² + N_read² + N_dark²) = √(12000 + 1.96 + 0.05) ≈ 109.6 e-，信号量为12000 e-，SNR≈40.8dB。长曝光帧在ISO 100下信号量为96000 e-（接近满阱），噪声为√(96000 + 4.41 + 0.4) ≈ 310 e-，SNR≈49.8dB。但长曝光帧的高光区域（如路灯）已饱和，需要短曝光帧补充高光信息。
实际操作步骤：
- 通过MIPI CSI-2接口以RAW12格式采集6帧数据，帧间隔为16ms，总采集时间约96ms。
- 在ISP前端进行黑电平校正（减去64 LSB）和坏点校正（基于静态坏点表）。
- 将6帧RAW送入NPU中的AI-ISP网络：首先进行帧间光流估计（使用轻量级PWC-Net），然后对长曝光帧进行时域降噪（3帧平均），对短曝光帧进行高光恢复。
- 将降噪后的长曝光帧与短曝光帧在HDR融合模块中合并，使用注意力机制抑制运动区域的鬼影。
- 最后进行去马赛克、白平衡和色彩校正，输出12MP RGB图像。
结果对比：处理后的图像SNR达到30.2dB，高光区域（路灯）的灰度值从255（饱和）恢复至220，暗部噪声标准差从12.5 LSB降至2.3 LSB。处理延迟为720ms，满足800ms的预算。
风险与代价：多帧采集增加了运动模糊的风险，在手持拍摄时需配合OIS光学防抖；6帧RAW的144MB数据量对内存带宽压力较大，需使用DMA直接传输至NPU的SRAM；AI-ISP网络的功耗约为450mW，导致手机表面温度上升2°C。
复盘经验：曝光比的选择需根据场景动态范围自适应调整，固定1:8.3在极端高动态场景下仍会出现高光截断；帧间光流估计在低照度下容易失效，可考虑使用传感器陀螺仪数据辅助对齐；片上DRAM缓存可减少数据搬运次数，但会增加传感器成本。
3.5 常见误区与总结复盘
总结：图像传感器与RAW数据是AI-ISP系统的"输入质量天花板"。CMOS传感器的堆栈式架构、Bayer阵列的采样模式、RAW数据的位深与黑电平特性，以及多帧获取的时序与对齐策略，共同决定了AI-ISP网络的输入分布。在实际工程中，需要建立传感器特性标定流程，记录每颗传感器的黑电平、坏点位置、增益曲线和噪声模型，并将这些元数据与RAW数据一同输入AI-ISP流水线。多帧RAW获取应优先考虑片上DRAM缓存和全局快门技术，以减少数据搬运延迟和运动伪影。只有深入理解RAW数据的物理含义，才能设计出真正有效的AI-ISP混合架构。