图像传感器与ISP基础：CMOS传感器工作原理、RAW图像格式、Bayer阵列与ISP流水线
夜景拍摄是手机影像系统面临的最严苛场景之一：环境照度可能低至1~10 lux，信噪比急剧恶化，暗部噪声被显著放大，同时动态范围不足导致高光溢出与暗部死黑并存。要理解高通ISP如何通过多帧降噪、AI去马赛克、亮度映射等算法在暗光下输出干净、通透、色彩准确的图像，首先必须建立对图像信号从光子到数字像素的完整链路认知。本章将深入拆解CMOS图像传感器（CIS）的电荷-电压-数字转换原理、RAW图像的数据组织方式、Bayer阵列的采样特性，以及ISP流水线中Demosaic、去噪、色彩校正、伽马等关键模块的数学本质与工程实现约束。
上图展示了从光子入射到ISP输出的完整信号链路。在夜景场景中，每一个环节的噪声贡献和参数限制都会最终影响图像质量。下面我们逐层深入。
2.1 CMOS传感器工作原理与关键参数
CMOS图像传感器（CIS）的核心是一个二维光电二极管阵列，每个像素包含一个感光二极管和若干晶体管（通常为4T或6T结构）。当光子入射到硅衬底时，如果光子能量大于硅的禁带宽度（约1.12eV，对应波长约1100nm），就会激发产生电子-空穴对。光电二极管通过PN结的内建电场将光生电子收集在耗尽区中，完成光信号到电荷信号的转换。
在曝光结束后，行选通晶体管逐行打开，将每个像素的电荷通过源跟随器（Source Follower）转换为电压信号，再经过列并行ADC转换为数字码值。这一过程涉及三个关键参数：
- 满阱容量（FWC）：像素能容纳的最大电子数，典型值在3000e-到8000e-之间。满阱越大，单像素动态范围越高，但通常与像素尺寸成正比，与分辨率成反比。
- 读出噪声：包括复位噪声（通过相关双采样CDS消除）、源跟随器1/f噪声、列ADC量化噪声等。现代背照式（BSI）传感器的读出噪声可低至1.5e-~3e-。
- 量子效率（QE）：入射光子转换为电子的比例，受微透镜、滤色片透过率、光电二极管耗尽区深度影响。BSI工艺可将QE提升至70%~90%。
2.2 RAW图像格式与Bayer阵列
RAW图像是传感器输出的原始数据，未经任何ISP处理，每个像素仅记录一个颜色通道的强度值。由于CMOS传感器每个像素只能通过其上方的滤色片（CFA）感知一种颜色，因此需要采用Bayer阵列来采样RGB三色信息。最常见的Bayer模式是RGGB，即每2×2像素块中包含1个红色、2个绿色、1个蓝色像素。绿色像素数量是红蓝的两倍，这是因为人眼对绿色亮度信息最敏感，且绿色在可见光谱中占据较宽波段。
RAW数据的位深通常为10bit、12bit或14bit。以12bit为例，每个像素的码值范围是0~4095，但实际有效信号往往只占其中一部分。RAW格式还包含元数据（Metadata），如曝光时间、ISO增益、黑电平值、镜头阴影校正参数等，这些信息对后续ISP处理至关重要。
| 参数 | 典型值 | 对夜景的影响 |
|---|---|---|
| 位深 | 10/12/14bit | 位深不足会导致暗部量化噪声（banding） |
| 黑电平 | 64（12bit） | 需精确减除，否则暗部偏色 |
| 满阱电子数 | 3000~8000e- | 决定单帧动态范围上限 |
| 读出噪声 | 1.5~3e- | 决定暗部信噪比下限 |
| 暗电流 | 0.5~5e-/s | 长曝光时产生固定模式噪声（FPN） |
2.3 ISP流水线核心模块解析
ISP（Image Signal Processor）的职责是将RAW数据转换为符合人眼感知的彩色图像。高通Spectra ISP的流水线通常包含以下关键模块，每个模块都有其数学原理和工程调优空间。
2.3.1 Demosaic（去马赛克）
Demosaic是从Bayer阵列恢复全彩RGB图像的过程。最简单的双线性插值在边缘处会产生伪彩色和拉链效应。现代ISP采用方向自适应插值：先计算水平和垂直方向的梯度，选择梯度较小的方向进行插值，再通过色差恒定假设（如G-R、G-B的平滑性）修正。高通ISP还引入了基于深度学习的Demosaic，在夜景中能有效抑制伪彩，但计算量较大，通常在高通AI引擎（Hexagon DSP）上运行。
2.3.2 去噪（NR）
去噪是夜景图像增强的核心。ISP中的去噪分为空域去噪和时域去噪：
- 空域去噪：如双边滤波、非局部均值（NLM），在保留边缘的同时平滑平坦区域。双边滤波的核函数同时考虑空间距离和像素值差异，σ_s控制空间范围，σ_r控制灰度范围。在夜景中，σ_r需要根据ISO增益动态调整——ISO越高，σ_r越大，但过大会导致细节丢失。
- 时域去噪：利用多帧图像的相关性进行降噪。高通MFNR（Multi-Frame Noise Reduction）将多帧短曝光图像进行运动补偿后加权平均，等效曝光时间延长，同时避免单帧长曝光的拖影。时域去噪的降噪效果与帧数N的关系为：噪声降低√N倍，但需要精确的运动估计（ME）和运动补偿（MC），否则会产生鬼影。
2.3.3 黑电平校正与镜头阴影校正
黑电平（Black Level）是传感器在无光条件下的输出码值，通常为64（12bit）。由于暗电流和ADC偏移，黑电平会随温度、增益变化。黑电平校正通过减除OB（Optical Black）像素的平均值来消除固定模式噪声。镜头阴影校正（LSC）则补偿镜头边缘的亮度衰减（cos⁴θ定律），通过预存的增益矩阵逐像素乘上校正系数。在夜景中，LSC增益在边缘可达2~3倍，这会放大边缘噪声，因此需要与去噪模块协同处理。
2.3.4 白平衡与色彩校正
白平衡（AWB）通过调整R、G、B通道的增益，使中性色在最终图像中呈现为灰色。AWB算法基于灰度世界假设或色温估计，在夜景中，由于人造光源（如钠灯、LED）的光谱分布复杂，AWB容易失效，导致偏色。色彩校正矩阵（CCM）将传感器色彩空间转换到sRGB或Display P3空间，是一个3×3矩阵，其系数通过拍摄标准色卡（如X-Rite ColorChecker）回归得到。在夜景中，CCM的系数可能需要根据色温分段调整，以避免暗部色彩断层。
2.3.5 伽马校正与色调映射
伽马校正将线性光信号映射到感知均匀的编码空间，标准sRGB伽马约为2.2。在夜景中，由于动态范围有限，需要采用色调映射（Tone Mapping）来压缩高光、提亮暗部。高通ISP支持局部色调映射（LTM），通过计算局部亮度直方图，对不同区域采用不同的映射曲线，从而在保留高光细节的同时提升暗部可见度。但LTM过度使用会产生光晕（Halo）效应，需要设置合理的对比度限制。
2.4 实战案例：夜景模式下的ISP参数调优
假设我们使用一颗1/1.5英寸、5000万像素的CMOS传感器，像素尺寸1.0μm，满阱容量4000e-，读出噪声2e-。在10 lux照度下，单帧曝光1/30s，ISO自动增益为800（模拟增益8倍）。此时单帧SNR约为：
光子数 = 照度 × 量子效率 × 像素面积 × 曝光时间
≈ 10 lux × 0.7 × (1.0e-6 m)² × 1/30s
≈ 233 e-
散粒噪声 = √233 ≈ 15.3 e-
总噪声 = √(15.3² + 2²) ≈ 15.4 e-
SNR = 20×log10(233/15.4) ≈ 23.6 dB23.6dB的SNR在视觉上表现为明显的颗粒感。若启用高通MFNR，拍摄8帧并进行时域平均，随机噪声降低√8倍，SNR提升至约28.1dB。但此时需要关注运动物体——如果画面中有行人或车辆，运动补偿不准确会产生鬼影。解决方案是采用“运动掩膜”技术：对运动区域降低时域滤波强度，改用更强的空域去噪。
在ISP调优过程中，我们实际调整了以下参数：
- Demosaic方向权重：将边缘方向的插值权重从0.5提升至0.7，减少夜景中伪彩色。
- 双边滤波σ_r：从ISO 800时的0.05提升至ISO 1600时的0.08，但设置亮度阈值防止高光区域过度平滑。
- LSC增益上限：将边缘最大增益限制在2.5倍，避免噪声放大超过可接受范围。
- CCM矩阵：针对3200K色温重新标定，减少钠灯下的黄色偏色。
2.5 总结与工程复盘
本章的核心在于建立“传感器物理特性→RAW数据质量→ISP算法补偿”的因果链。在夜景拍摄中，传感器层面的满阱、读出噪声、量子效率决定了图像质量的物理上限；RAW格式的位深和黑电平精度影响暗部量化噪声；ISP流水线中的Demosaic、去噪、色彩校正等模块则是在有限信号基础上进行“修复”和“增强”。
从工程实践角度，以下几点值得牢记：
- 先测量，后调优：使用均匀光源拍摄灰卡，测量各ISO下的噪声曲线和动态范围，建立传感器模型。
- 多帧降噪是夜景的基石：单帧ISP去噪无法突破物理SNR极限，必须结合时域信息。
- 色彩与噪声的平衡：CCM矩阵会放大噪声（尤其是蓝色通道），在夜景中可适当降低色彩饱和度，优先保证信噪比。
- 验证环境要贴近真实：实验室的D65光源无法模拟夜景的混合光源，必须在实际场景中验证AWB和色彩表现。
理解这些基础原理后，下一阶段我们将深入高通ISP的降噪算法细节，包括空域滤波的数学推导、时域降噪的运动补偿策略，以及AI降噪在Hexagon DSP上的部署优化。