图像传感器与ISP基础：CMOS传感器工作原理、RAW图像格式与ISP流水线概述
夜景拍摄与高通ISP降噪算法的优化，必须建立在对图像信号从光子到数字码值全链路深刻理解的基础上。本章聚焦于三个核心基石：CMOS图像传感器（CIS）的物理工作机制、RAW图像的数据组织与特性、以及ISP（图像信号处理器）流水线中关键模块的协同逻辑。只有厘清传感器噪声的物理来源、RAW数据的位深与拜耳排列约束，以及Demosaic与去噪在流水线中的先后次序，才能理解为何高通平台在夜景模式下需要采用多帧融合与频域降噪相结合的策略。下图展示了从光信号入射到ISP输出YUV图像的核心链路与关键节点。
图2-1 从光信号到ISP输出的完整链路，其中传感器噪声源与电源域是影响RAW质量的关键外围因素。
2.1 CMOS传感器工作原理与噪声模型
CMOS图像传感器采用主动像素传感器（APS）结构，每个像素单元包含一个光电二极管（PD）、一个传输门（TX）、一个复位晶体管（RST）、一个源极跟随器（SF）和一个行选择晶体管（RS）。其核心工作流程分为四个阶段：曝光（Integration）、电荷转移（Transfer）、复位与读出（Reset & Readout）以及模数转换（ADC）。在曝光期间，入射光子与硅材料相互作用产生电子-空穴对，光生电子被收集在PD的势阱中。曝光结束后，TX门打开，电荷完全转移至浮置扩散节点（FD），FD的电压变化与电荷量成正比，再经SF缓冲后由RS选通输出至列总线。
理解噪声模型是ISP降噪算法设计的前提。传感器噪声主要分为三类：光子散粒噪声（Photon Shot Noise）服从泊松分布，其标准差等于信号电子数的平方根，即σ_shot = √N，这意味着信号越强噪声值越大，但信噪比（SNR）随信号增大而提高；暗电流噪声（Dark Current Noise）由热激发产生，与曝光时间和温度强相关，典型值在0.5~2 e-/s（25°C），温度每升高6-8°C暗电流翻倍；读出噪声（Read Noise）包括复位噪声（KTC噪声）、列放大器噪声和ADC量化噪声，现代堆栈式传感器读出噪声可低至1-2 e-。此外，列固定模式噪声（Column FPN）和像素响应非均匀性（PRNU）属于系统误差，可通过标定校正。
2.2 RAW图像格式：拜耳排列、位深与DNG
RAW图像是传感器输出的原始数据，未经任何ISP处理，保留了最完整的场景信息。其核心特征包括：拜耳排列（Bayer Pattern）、位深（Bit Depth）和元数据（Metadata）。标准拜耳排列为RGGB（2x2单元），即一行RGRG，下一行GBGB，绿色像素占50%，红蓝各占25%，模拟人眼对绿色更敏感的特性。部分传感器采用RCCC（红清透清透）或RYYCy（黄黄青）排列用于特殊场景，但手机主摄几乎全部使用RGGB或Quad Bayer（四合一）。
位深决定了RAW数据的量化精度。10bit RAW可表示1024级灰度，12bit为4096级，14bit为16384级。高位数RAW在暗部区域能提供更细腻的渐变，减少带状伪影（Banding）。例如，在夜景长曝光场景中，暗部信号可能仅占满量程的1%~5%，若使用10bit RAW，量化步长过大，容易产生可见的等高线效应；而12bit以上RAW配合高通ISP的14bit内部处理路径，可有效保留暗部细节。
DNG（Digital Negative）是Adobe推出的开源RAW格式，它封装了RAW数据、拜耳排列信息、色彩矩阵、黑电平、白平衡增益等元数据。在调试高通平台时，工程师常使用DNG文件进行离线调参，因为DNG可以完整记录传感器状态，便于复现问题。下表对比了RAW与YUV在ISP调试中的差异：
| 维度 | RAW (DNG) | YUV (NV12/NV21) |
|---|---|---|
| 数据量 | 12bit/像素，约18MB（12MP） | 8bit/像素，约18MB（12MP） |
| 色彩信息 | 单通道拜耳，需插值 | 全彩YUV 4:2:0 |
| 噪声水平 | 原始噪声，未处理 | 已降噪，细节有损失 |
| 调试价值 | 可重新处理，调参空间大 | 仅用于效果验证 |
| 适用场景 | 算法开发、AWB/CCM标定 | 预览、录像、第三方调用 |
在夜景拍摄中，RAW域处理的核心优势在于：降噪可以在插值之前进行，避免噪声在Demosaic过程中被空间放大。例如，一个亮点噪声在RAW域是单像素，经过Demosaic后会扩散为2x2的彩色伪影，处理难度大增。
2.3 ISP流水线核心模块：Demosaic、去噪与色彩校正
ISP流水线将RAW数据转换为人类视觉友好的YUV/RGB图像。高通Spectra ISP的典型处理顺序为：黑电平校正（BLC）→ 坏点校正（DPC）→ 镜头阴影校正（LSC）→ 去噪（NR）→ Demosaic → 白平衡（AWB）→ 色彩校正（CCM）→ Gamma → 色调映射（Tone Mapping）→ 锐化（Sharpening）→ 缩放（Scale）。其中，去噪与Demosaic的先后顺序是设计关键。
Demosaic（去马赛克）算法从拜耳排列中恢复全彩信息。最简单的双线性插值在边缘处会产生拉链效应（Zipper Effect）和伪彩（False Color）。现代算法如AHD（Adaptive Homogeneity-Directed）或基于梯度导向的插值，会先判断边缘方向，沿边缘方向插值以减少伪彩。在高通平台中，Demosaic通常与去噪联合优化：先对RAW进行轻量级去噪（如BM3D的变体），再进行边缘感知的Demosaic，最后对色度通道进行二次去噪。
去噪（NR）是夜景图像增强的核心。ISP中的去噪分为时域去噪（Temporal NR）和空域去噪（Spatial NR）。时域去噪利用多帧之间的相关性，通过运动补偿后加权平均来抑制随机噪声，对静态场景效果显著，但运动区域容易产生拖影。空域去噪如双边滤波（Bilateral Filter）或非局部均值（NLM），在保留边缘的同时平滑平坦区域。高通平台在夜景模式下通常采用3~6帧RAW域融合，先进行全局配准，再在频域进行小波变换，对低频分量进行强融合，对高频分量进行弱融合，从而在降噪与细节保留之间取得平衡。
色彩校正（CCM）将传感器RGB色彩空间转换至sRGB或P3色域。由于传感器滤色片的光谱响应与标准观察者曲线存在偏差，必须通过3x3矩阵进行线性变换。CCM矩阵的系数直接影响色彩饱和度与噪声放大程度——矩阵系数越大，噪声放大越明显。在夜景模式下，高通ISP会动态调整CCM矩阵，适当降低饱和度以抑制色度噪声，同时利用色彩去噪（CSC）模块对Cb/Cr通道进行低通滤波。
2.4 案例拆解：夜景RAW噪声分析与ISP参数调整
某旗舰机型在夜景拍摄时，用户反馈照片暗部（ISO 3200，曝光时间1/4s）出现明显彩色噪点，且边缘细节模糊。工程师通过以下流程定位问题：
- 采集RAW数据：使用工程机拍摄DNG格式，同时记录传感器温度（35°C）和增益（ISO 3200对应模拟增益12dB）。
- 噪声分析：在RAW域选取均匀灰卡区域（亮度值约200/4095），计算各通道噪声标准差。发现G通道σ=8.2，R通道σ=12.5，B通道σ=14.3。B通道噪声显著偏高，且存在明显的行噪声（Column Noise）。
- 根因定位：行噪声源于传感器列放大器失调，属于FPN。通过暗帧（遮住镜头拍摄）减去行均值可校正。B通道噪声高是因为B像素的量子效率较低，在相同光照下信号弱，SNR低。
- ISP参数调整：
- 在RAW域启用行噪声校正（Line Noise Correction），强度设为中等。
- 将时域融合帧数从3帧提升至5帧，运动阈值降低20%以增强降噪。
- 在Demosaic后，对Cb/Cr通道增加色度低通滤波，截止频率设为1.2MHz。
- 调整CCM矩阵，将饱和度从110%降至95%，减少色彩噪声放大。
- 结果对比：调整后，B通道噪声σ降至6.8，主观评价彩色噪点减少70%，边缘细节保留度提升15%（MTF50从0.32提升至0.37）。代价是处理时间增加8ms（从45ms增至53ms），但仍在预算内。
2.5 常见误区与总结复盘
在ISP基础调试中，工程师常陷入以下误区：误区一：认为RAW位深越高越好。实际上，14bit RAW相比12bit RAW在暗部提升有限，但数据量增加33%，且对ADC线性度要求更高。若传感器本身读出噪声大于2e-，12bit已足够。高通平台默认使用12bit RAW处理，仅在专业模式输出14bit DNG。误区二：将去噪放在Demosaic之后。若在RAW域未充分降噪，Demosaic会将单通道噪声扩散为彩色伪影，后续空域去噪难以完全消除。正确做法是RAW域先进行基础降噪（如小波软阈值），Demosaic后再进行精细降噪。误区三：忽略黑电平校正的影响。黑电平偏移会导致暗部偏色，尤其在夜景中，BLC误差1LSB（12bit）在增益放大后可能产生明显色偏。建议在每次增益切换后重新校准BLC。