2、ISP基础回顾：ISP流水线（RAW域、RGB域、YUV域）、关键模块（去马赛克、白平衡、去噪、锐化）与多帧处理的关系
在深入多帧降噪、HDR合成与实时夜景算法之前，必须先将单帧ISP（Image Signal Processor）的流水线结构彻底厘清。多帧处理并非独立于ISP之外的魔法，而是深度嵌入在ISP的各个域（Domain）与模块之间的协同计算。理解RAW域、RGB域、YUV域的边界，以及去马赛克、白平衡、去噪、锐化等模块的职责，是理解为何某些多帧算法在RAW域做、某些在YUV域做的根本前提。本章将系统梳理ISP流水线的核心骨架，并建立其与多帧处理之间的映射关系。
上图展示了ISP流水线的三大域划分及多帧处理的典型介入位置。从传感器输出的RAW数据开始，经过一系列预处理进入RGB域完成色彩还原，最终转换到YUV域进行画质增强与编码输出。多帧处理并非固定在某一个域，而是根据算法目标选择最合适的介入点：RAW域适合做像素级对齐与融合，RGB域适合做曝光合成，YUV域适合做时域降噪。
2.1 ISP流水线三大域的核心原理与边界
ISP流水线从物理世界的光子到数字图像，经历了从传感器原始信号到人眼感知色彩的完整变换。理解三大域的划分，本质上是在理解数据形态的变化与信息损失的过程。
核心原理：RAW域数据是传感器直接输出的Bayer格式数据，每个像素仅包含R、G、B中的一个颜色分量，且与传感器物理特性（量子效率、暗电流、非均匀性）直接相关。RGB域数据经过去马赛克插值后，每个像素包含完整的R、G、B三分量，但此时色彩空间仍与设备相关（device-dependent）。YUV域数据通过线性或非线性变换将亮度与色度分离，Y分量代表人眼敏感的亮度信息，U/V分量代表色度信息，为后续压缩、显示和增强提供了更符合视觉特性的表示。
三大域的边界并非，现代ISP架构中常存在跨域操作。例如，部分先进ISP会在RAW域做初步降噪（NR），在RGB域做色彩降噪，在YUV域做亮度降噪。这种多级降噪策略正是为了在不同数据形态下利用各自的统计特性。
| 域 | 数据格式 | 关键特征 | 典型模块 | 多帧处理优势 |
|---|---|---|---|---|
| RAW域 | Bayer Pattern（RGGB/RGBG/GBRG） | 线性数据、位深高（10-14bit）、与传感器噪声模型直接对应 | DPC、BLC、LSC、Demosaic | 像素级精确对齐、噪声模型准确、可处理极端过曝/欠曝 |
| RGB域 | RGB888/RGB101010 | 全彩信息、色彩空间依赖设备、Gamma编码 | AWB、CCM、Gamma、Tone Map | 色彩一致性融合、HDR权重计算更准确 |
| YUV域 | YUV420/YUV422 | 亮度色度分离、符合人眼视觉特性、数据量减少 | NR、Sharpening、CSC、饱和度控制 | 时域降噪效率高、边缘增强可控、计算量低 |
2.2 关键模块详解：从去马赛克到锐化
ISP流水线中的每个关键模块都承担着不可替代的职责，它们之间的顺序关系直接影响最终画质。理解这些模块的输入输出特性，是判断多帧算法应在何处介入的基础。
2.2.1 去马赛克（Demosaic）——RAW域到RGB域的桥梁
去马赛克是ISP中计算量最大、算法复杂度最高的模块之一。其核心任务是从Bayer格式的稀疏采样中恢复出每个像素位置的完整RGB信息。现代去马赛克算法通常采用边缘导向插值（Edge-Directed Interpolation），通过计算水平和垂直方向的梯度来选择合适的插值方向，避免伪彩色和锯齿。
关键注意：去马赛克是信息恢复过程，而非信息创造过程。插值算法会引入空间相关性，这会影响后续多帧处理中的噪声估计。如果在RAW域做多帧降噪后再去马赛克，可以避免插值放大的噪声；反之，如果先去马赛克再做多帧处理，则需要更复杂的噪声模型来区分真实细节与插值伪影。
2.2.2 白平衡（AWB）——色彩恒常性的实现
白平衡的目标是消除光源色温对物体颜色的影响，使白色物体在任何光照下都呈现为白色。其数学本质是对R、G、B三个通道施加不同的增益系数。AWB模块通常包含两个步骤：色温估计（Color Temperature Estimation）和增益计算（Gain Calculation）。
在多帧处理场景中，AWB的介入时机至关重要。如果多帧HDR合成在RGB域进行，那么各帧的AWB增益必须保持一致，否则合成图像会出现色彩分裂。实际工程中，通常先对参考帧计算AWB增益，然后将该增益应用于所有帧，再进行融合。
2.2.3 去噪（NR）——从单帧到多帧的演进
去噪是ISP中最具挑战性的模块之一。单帧去噪依赖空间域滤波（如双边滤波、非局部均值），但不可避免地会损失细节。多帧去噪则利用时间冗余信息，通过多帧对齐和融合来抑制噪声，同时保持甚至增强细节。
经验之谈：在夜景模式下，建议在RAW域先做一次轻量级空间降噪（去除热像素和读出噪声），再进行多帧对齐与融合，最后在YUV域做一次时域降噪（去除残余的时间噪声）。这种三级降噪策略能最大化信噪比提升，同时避免过度平滑。
2.2.4 锐化（Sharpening）——细节增强的双刃剑
锐化通过增强边缘对比度来提升视觉清晰度，但过度锐化会产生光晕（Halation）和振铃（Ringing）伪影。现代ISP通常采用非锐化掩模（Unsharp Mask）或多尺度锐化算法，在增强边缘的同时抑制噪声放大。
多帧处理与锐化的关系需要特别注意：多帧降噪后的图像噪声较低，可以允许更强的锐化强度；但多帧HDR合成后的图像可能在明暗交界处产生微小的对齐误差，此时锐化会放大这些误差。因此，在多帧处理链路中，锐化参数需要根据融合质量动态调整。
2.3 多帧处理与ISP流水线的协同关系
多帧处理并非简单的"先拍多张再平均"，而是深度融入ISP流水线的各个阶段。根据算法目标和计算资源约束，多帧处理可以选择不同的介入点和融合策略。
- RAW域多帧处理：适用于需要精确像素对齐的场景（如手持夜景）。各帧在RAW域进行运动估计（ME）和运动补偿（MC），然后进行像素级融合。优势是噪声模型准确、可处理大动态范围；劣势是计算量大、需要大带宽DDR访问。
- RGB域多帧处理：适用于HDR合成场景。不同曝光帧在RGB域进行权重计算和融合，权重通常基于亮度、饱和度、梯度等特征。优势是色彩一致性较好；劣势是线性度不如RAW域，高光区域容易饱和。
- YUV域多帧处理：适用于时域降噪（TNR）场景。当前帧与参考帧在YUV域进行运动补偿和递归滤波。优势是计算效率高、易于硬件实现；劣势是色彩信息已压缩，无法处理RAW域的极端情况。
| 多帧处理类型 | 介入域 | 核心算法 | 典型应用 | 硬件代价 |
|---|---|---|---|---|
| 多帧降噪（MFNR） | RAW域 | 全局/局部运动估计、像素级融合、噪声方差加权 | 手持夜景、暗光拍摄 | 高（需要大Buffer、高带宽） |
| 多帧HDR | RGB域 | 曝光合成、权重图生成、去鬼影 | 逆光场景、大光比环境 | 中（需要多路ISP并行） |
| 时域降噪（TNR） | YUV域 | 运动补偿、递归滤波、混合比计算 | 视频拍摄、预览模式 | 低（可复用单帧ISP） |
2.4 实战案例：夜景模式下的多帧RAW域降噪流程
为了更具体地说明多帧处理与ISP流水线的协同，我们以一个典型的夜景拍照场景为例，拆解完整的处理链路。
场景背景：用户使用旗舰手机在夜间手持拍摄城市街景。环境光照度约5 lux，存在霓虹灯等高亮光源。手机搭载5000万像素传感器，支持12bit RAW输出，ISP算力为2 TOPS。
初始目标：在手持1/4秒曝光下，输出一张无明显噪点、高光不过曝、暗部细节丰富的1200万像素最终图像。
关键输入参数：
- 连拍帧数：6帧（其中2帧短曝光1/30s，2帧中曝光1/8s，2帧长曝光1/4s）
- 传感器增益：ISO 800（中曝光）、ISO 3200（长曝光）
- 噪声模型：光子散粒噪声（Poisson分布）+ 读出噪声（高斯分布，σ=2.5 LSB）
分析判断过程：
首先，由于存在霓虹灯高光区域，单帧长曝光必然导致高光溢出。因此需要多帧HDR合成来扩展动态范围。同时，暗部区域在ISO 3200下噪声严重，需要多帧降噪来提升信噪比。综合考虑，选择在RAW域进行"先对齐、后融合"的策略。
实际操作步骤：
- RAW域预处理：对6帧RAW数据分别进行黑电平校正（BLC）和坏点校正（DPC），消除传感器固定模式噪声。
- 全局运动估计：以中曝光帧为参考帧，计算其他帧的全局仿射变换矩阵（平移+旋转），补偿手持抖动。
- 局部运动补偿：针对场景中的运动物体（如行人、车辆），采用光流法进行局部运动估计，生成运动掩膜（Motion Mask）。
- 多帧融合：对于静态区域，采用基于噪声方差的加权平均（方差越小权重越大）；对于运动区域，仅使用参考帧数据，避免鬼影。
- 去马赛克与后续ISP：将融合后的RAW数据送入标准ISP流水线，依次完成去马赛克、白平衡、色彩校正、Gamma映射。
- YUV域时域降噪：将当前帧与前一帧（来自预览流）在YUV域进行递归滤波，进一步抑制残余噪声。
结果对比：相比单帧ISO 3200直出，多帧处理后的图像信噪比提升约8.2dB（从28.5dB提升至36.7dB），高光区域（霓虹灯）无过曝，暗部细节（路面纹理）清晰可辨。代价是处理时间增加约180ms（从150ms增至330ms），但仍在可接受的快门时滞范围内。
风险与代价：多帧处理引入了运动物体鬼影风险，需要精确的运动掩膜；同时，6帧RAW数据需要约180MB的DDR带宽（1200万像素×12bit×6帧），对内存带宽要求较高。此外，长曝光帧的暗电流噪声在高温环境下会显著增加，需要额外的暗帧校正。
复盘经验：夜景多帧处理的关键在于"分而治之"——先用短曝光帧保护高光，再用长曝光帧捕捉暗部，最后在RAW域融合。融合权重不能简单基于亮度，而应基于噪声方差和运动概率的联合估计。此外，ISP流水线的参数（如去马赛克强度、锐化增益）需要针对多帧融合后的噪声特性重新标定，不能直接沿用单帧参数。
2.5 常见误区与总结复盘
在理解ISP流水线与多帧处理的关系时，工程师常陷入以下误区：
- 误区一：认为多帧处理只能在RAW域做。实际上，YUV域的时域降噪在视频防抖和预览流中极为高效，且硬件代价低。
- 误区二：忽视域转换带来的信息损失。从RAW到RGB再到YUV，每一步都伴随信息损失（如Gamma压缩、色度子采样）。多帧处理应尽量在信息损失最小的域进行。
- 误区三：将多帧处理与ISP模块割裂。多帧融合后的噪声特性与单帧完全不同，后续的锐化、饱和度调整必须适配新的噪声模型，否则会放大伪影。
- 误区四：忽略运动物体的处理。多帧处理最大的风险是鬼影，必须结合运动检测与局部融合策略，而非简单全局对齐。