4、多帧降噪关键流程：帧对齐、运动补偿、权重计算、融合策略、伪影抑制
多帧降噪（Multi-Frame Noise Reduction, MFNR）是计算摄影中提升信噪比（SNR）与动态范围的核心手段，其本质是利用时间维度的冗余信息换取空间维度的噪声抑制。在夜景、暗光及高ISO场景下，单帧图像受限于光子散粒噪声与读出噪声，而多帧合成能够通过平均或加权融合将随机噪声压制至1/√N（N为帧数）。然而，多帧降噪并非简单的“叠加平均”，其工程实现必须严格遵循五个关键流程：帧对齐（Alignment）、运动补偿（Motion Compensation）、权重计算（Weighting）、融合策略（Fusion Strategy）与伪影抑制（Artifact Suppression）。本章将逐一拆解这五个环节的底层原理、判断方法、实战案例与常见误区，帮助开发者构建稳健的ISP级多帧降噪管线。
4.1 帧对齐：从全局配准到局部光流
核心原理：帧对齐是多帧降噪的基石，其目标是将多帧图像映射到同一参考坐标系下，消除因手持抖动、场景平移或视差引起的像素偏移。对齐精度直接决定后续融合的有效性——若对齐误差超过1个像素，融合后边缘将出现重影（Ghosting）。工程上，帧对齐分为全局对齐与局部对齐两级：全局对齐通常采用平移模型（2D Translation）或仿射变换（Affine），适用于整体平移或旋转；局部对齐则采用光流法（Optical Flow）或块匹配（Block Matching），用于处理场景中独立运动物体（如行人、车辆）与视差变化。
操作流程：以典型的三帧降噪为例，首先选取中间帧为参考帧（Reference Frame），对前后帧进行全局仿射配准，使用拉普拉斯金字塔下采样加速搜索；随后在金字塔高层进行块匹配（块大小16×16，搜索范围±32像素），获得初始运动矢量；最后在原始分辨率上使用光流细化（如Lucas-Kanade迭代），得到亚像素精度的运动场。对于RAW域数据，需注意Bayer模式下的对齐应在去马赛克前完成，以避免颜色混叠。
| 对齐方法 | 精度 | 计算量 | 适用场景 |
|---|---|---|---|
| 全局平移/仿射 | 像素级 | 低 | 静态场景、纯旋转 |
| 块匹配（BMA） | 整数像素 | 中 | 局部平移、硬件友好 |
| 光流法（稠密） | 亚像素 | 高 | 复杂运动、动态场景 |
| 混合分层策略 | 亚像素 | 中高 | 移动端ISP主流方案 |
4.2 运动补偿：重采样与遮挡处理
核心原理：运动补偿是根据运动矢量场对非参考帧进行几何变换，使其与参考帧对齐。其本质是图像重采样（Resampling），涉及插值核的选择（双线性、双三次、Lanczos）与边界处理。在ISP中，运动补偿通常在RAW域或YUV域进行，需考虑Bayer排列的相位一致性。对于遮挡区域（Occlusion），即参考帧中可见但非参考帧中不可见的像素，运动补偿无法找到对应点，必须通过后续的权重计算与伪影抑制来规避错误补偿。
操作流程：首先，根据运动矢量场生成补偿帧，使用双三次插值保证亚像素精度；其次，计算补偿残差（Compensated Residual），即补偿帧与参考帧的差；残差图将作为后续权重计算与鬼影检测的关键输入。对于运动矢量置信度低的区域（如遮挡边界），标记为“无效区域”，在融合阶段直接降低其权重或剔除。
4.3 权重计算：噪声模型与显著性度量
核心原理：权重计算决定了各帧像素在融合中的贡献比例，其设计需兼顾噪声抑制与细节保留。理想权重应满足：噪声大的像素权重低，运动大的像素权重低，边缘/纹理区域权重高。工程上，权重由三部分构成：噪声权重（基于光子散粒噪声模型，亮度越高噪声方差越大，权重越低）、运动权重（基于补偿残差，残差越大权重越低）、显著性权重（基于局部梯度或拉普拉斯响应，边缘区域权重高）。
判断方法：权重图应平滑过渡，避免硬边界导致融合后出现块状伪影。通常对权重图进行高斯模糊（σ=1.5~3像素）或引导滤波（Guided Filter）处理，使其与图像结构对齐。权重归一化是必须步骤，确保所有帧权重之和为1。
// 权重计算伪代码（简化版）
float noiseWeight = 1.0 / (1.0 + sigma2 * pixelValue); // sigma2为噪声方差
float motionWeight = exp(-residual / (2 * sigma_m^2)); // 残差高斯核
float saliencyWeight = 1.0 + lambda * gradientMagnitude;
float finalWeight = noiseWeight * motionWeight * saliencyWeight;4.4 融合策略：多尺度金字塔与递归滤波
核心原理：融合策略将多帧加权合成单帧，但简单的像素级加权平均会导致边缘过平滑或细节丢失。主流方案是拉普拉斯金字塔融合：将每帧分解为不同频带（通常3~5层），在低频带采用平均或加权平均，在高频带采用“取最大显著性”策略，从而保留边缘与纹理。另一种高效方案是时域递归滤波（Temporal Recursive Filter），即当前帧与历史融合结果按系数α（如0.8）混合，适用于视频降噪，但需注意运动区域的拖影问题。
操作流程：以金字塔融合为例：① 对每帧构建高斯金字塔与拉普拉斯金字塔；② 在每层计算权重图（基于该层梯度）；③ 逐层加权融合；④ 从顶层向下重建，得到最终图像。递归滤波则需维护一个状态帧，每输入一帧更新一次，更新公式为：out = α * current + (1-α) * history。
| 融合策略 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 像素加权平均 | 实现简单、计算快 | 边缘模糊、细节丢失 | 低噪声场景、静态帧 |
| 拉普拉斯金字塔 | 细节保留好、可控性强 | 内存占用高、需多层存储 | 静态/手持夜景 |
| 时域递归 | 内存小、适合视频流 | 运动拖影、错误累积 | 视频实时降噪 |
| 基于深度学习融合 | 自适应强、质量上限高 | 算力需求大、硬件部署难 | 旗舰机/云端处理 |
4.5 伪影抑制：鬼影消除与振铃控制
核心原理：伪影抑制是多帧降噪的最后一道防线，主要处理三类问题：鬼影（运动物体错位重影）、振铃（边缘过冲）、色彩渗漏（色差扩散）。鬼影抑制的核心是运动一致性检测——将补偿残差图与噪声阈值比较，标记“不一致”像素，并在融合时将其权重置零。振铃抑制则需在金字塔重建时对高频系数进行软阈值（Soft-threshold）或双边滤波。
操作流程：① 计算残差图并自适应阈值分割（阈值与ISO相关，ISO越高阈值越大）；② 对鬼影区域进行形态学膨胀（Dilation），确保覆盖完整运动边界；③ 在融合阶段，鬼影区域仅使用参考帧像素；④ 重建后，对图像进行边缘保持滤波（如双边滤波）以抑制振铃。对于色彩渗漏，可在YUV域对色度分量进行额外的时间滤波。
4.6 总结与工程复盘
多帧降噪的五个关键流程并非孤立模块，而是相互耦合的闭环系统。帧对齐的误差会直接放大到运动补偿与权重计算中；权重计算的不合理会加剧伪影；融合策略的选择则需权衡算力与质量。在工程实践中，建议遵循以下原则：
- 先全局后局部：优先保证全局对齐的鲁棒性，再处理局部运动，避免局部误差污染全局。
- 权重平滑优先：权重图的空间连续性比数值精确性更重要，引导滤波是推荐工具。
- 伪影抑制前置：在权重计算阶段就考虑鬼影风险，而非事后补救。
- 硬件协同设计：移动端ISP应利用硬件运动估计单元（ME）与多核DSP并行处理，降低时延。