4、计算摄影学基础：多帧合成、超分辨率、HDR、去噪、去模糊的基本原理

传统光学成像受限于镜头孔径、传感器尺寸与曝光时间，在暗光、高动态范围或运动场景下往往难以同时兼顾信噪比、分辨率与细节保留。计算摄影学的核心思想，是以“多帧采集 + 联合计算”替代“单帧硬件极限”，通过时间维度的冗余信息换取空间维度与强度维度的质量提升。本章围绕多帧合成、超分辨率、HDR、去噪与去模糊五大基础技术，剖析其数学本质、工程实现路径与典型应用场景，帮助学习者建立从物理采集到算法重建的完整认知框架。

4.1 多帧合成：以时间换质量的基础框架

核心原理

多帧合成（Multi-Frame Fusion）是计算摄影的基石。其数学本质可表述为：对同一场景采集 N 帧观测图像 \( y_i = H_i x + n_i \)，其中 \( H_i \) 为第 i 帧的几何变换（平移、旋转、缩放），\( n_i \) 为加性噪声。通过联合估计真实场景 \( x \) 与变换参数 \( H_i \)，即可获得比单帧更高质量的重建结果。从信息论角度看，多帧提供了冗余观测，使得噪声被平均、缺失信息被互补、动态范围被扩展。典型应用包括夜景手持拍摄（连拍 6-10 帧合成）、运动轨迹叠加（光绘摄影）以及全景拼接中的重叠区域融合。

判断方法与操作流程

工程上判断是否适合采用多帧合成，需评估三个条件：场景静态性（运动物体占比是否低于 30%）、帧间位移可估计性（纹理丰富度是否足够进行特征匹配）、计算资源预算（移动端需控制在 200ms 内完成 8 帧 1200 万像素的处理）。标准流程如下：

1. 采集策略：固定 ISO 与快门，连续拍摄 N 帧（通常 4-8 帧），或从视频流中抽取相邻帧。
2. 全局配准：使用相位相关法或 ORB 特征匹配估计帧间单应矩阵，剔除偏差大于 0.5 像素的异常帧。
3. 像素级融合：对配准后的图像栈，逐像素计算中值或加权平均，权重由局部梯度幅值与噪声方差决定。
4. 后处理：对融合结果进行轻度锐化与色彩校正，避免过度平滑。

常见误区与复盘

• 误区一：帧数越多越好。超过 8 帧后，降噪收益递减，而配准误差累积与存储压力显著上升。建议根据噪声水平动态调整帧数。
• 误区二：忽略卷帘快门效应。CMOS 逐行曝光导致快速运动物体在帧间产生非线性畸变，需先进行卷帘校正再配准。
• 误区三：融合后过度锐化。多帧合成本身已提升高频信息，过度锐化会放大残留噪声，建议锐化强度控制在 0.5-0.8 半径。

4.2 超分辨率：突破传感器像素密度的物理限制

核心原理

超分辨率（Super-Resolution, SR）旨在从多帧低分辨率（LR）图像重建高分辨率（HR）图像。其理论基础是：当相机发生亚像素位移时，每帧 LR 图像采样的是场景在不同偏移下的离散点，这些采样点相互交织，提供了超越单帧 Nyquist 频率的信息。频域解释更为直观：多帧 LR 图像的频谱混叠模式不同，通过解混叠可恢复高频成分。重建模型为 \( y_k = D B M_k x + n_k \)，其中 D 为下采样矩阵，B 为光学模糊核，M_k 为第 k 帧的运动矩阵。求解该逆问题需正则化约束，常用总变差（TV）正则或稀疏先验。

操作流程与关键参数

实际工程中，多帧 SR 的流程与多帧合成高度相似，但差异在于：必须精确估计亚像素位移（精度需达 0.1-0.3 像素），且重建阶段需迭代优化。推荐流程如下：

1. 采集约束：使用连拍模式，确保帧间位移在 0.5-2 像素范围内，过大则无法覆盖所有亚像素相位。
2. 亚像素配准：采用相位相关结合抛物线插值，或基于光流的亚像素估计，输出浮点型位移参数。
3. 迭代重建：使用 IBP（迭代反投影）或 MAP（最大后验）方法，迭代 10-30 次直至收敛。
4. 质量评估：计算 PSNR 与 SSIM，同时目视检查是否存在振铃伪影。

案例拆解：卫星遥感图像 SR

某遥感卫星对同一地面区域连续拍摄 4 帧图像，帧间位移由卫星轨道抖动产生，约 0.3-0.8 像素。初始单帧图像地面采样距离（GSD）为 1.2 米，通过多帧 SR 重建后 GSD 提升至 0.8 米，等效于将光学系统口径增大了 1.5 倍。但处理中发现：第 2 帧存在云层遮挡，导致该帧局部区域信息缺失。算法通过置信度加权，将该区域权重降为 0，其余三帧正常参与重建，最终输出无云影伪影。代价是重建区域分辨率提升幅度从 1.5 倍降至 1.3 倍，但整体可用性显著提高。

常见误区

• 误区一：认为 SR 可以无限放大。实际放大倍数受限于帧数、位移精度与噪声水平，超过 3 倍后伪影急剧增加。
• 误区二：忽略光学模糊核。若镜头 PSF 未准确标定，重建会放大模糊而非消除模糊，需用点光源标定或盲估计。
• 误区三：在压缩域直接处理。JPEG 压缩产生的块效应会被 SR 放大，应先进行去块滤波。

4.3 HDR：扩展动态范围的曝光融合策略

核心原理

高动态范围（HDR）成像通过采集多帧不同曝光的图像，将各帧中曝光合适的区域融合为一幅动态范围远超传感器原生能力的图像。其核心是辐射度域融合：首先根据相机响应函数（CRF）将像素值映射为场景辐射度，然后对不同曝光帧的辐射度进行加权平均，最后通过色调映射（Tone Mapping）将高动态范围辐射度压缩至显示设备可呈现的 8-bit 或 10-bit 范围。权重函数通常采用高斯钟形曲线，中心位于中间曝光值，两端渐变为零，以避免过曝与欠曝区域的噪声放大。

判断方法与流程

判断场景是否需要 HDR 的量化标准：场景最亮区域与最暗区域的亮度比（动态范围）超过传感器原生动态范围（通常 60-70dB）时，需采用多曝光 HDR。操作流程如下：

1. 曝光序列采集：以 EV 步长 ±1 或 ±2 拍摄 3-5 帧，覆盖从最暗到最亮的完整范围。
2. CRF 标定：使用标准色卡或利用图像自身直方图估计响应曲线。
3. 辐射度融合：对每帧像素赋予权重 \( w(Z) \)，加权求和得到 HDR 辐射度图。
4. 色调映射：选择全局映射（如 Reinhard）或局部映射（如 Durand 双边滤波），压缩动态范围并保留局部对比度。

案例拆解：手机逆光人像 HDR

某手机在逆光场景下（背景亮度 8000cd/m²，人脸亮度 80cd/m²，动态范围 100:1）拍摄人像。采用 3 帧曝光（EV -2/0/+2）合成 HDR。初始融合结果中人脸区域出现偏色（肤色偏灰），分析发现原因是：短曝光帧中人脸区域信噪比过低，权重函数未有效抑制噪声。解决方案：将权重函数修改为“信噪比自适应”形式，对低亮度区域降低权重并引入亮度提升增益。修改后肤色还原准确，背景云层细节保留完整。该案例说明 HDR 不仅是曝光融合，还需结合噪声模型与感知偏好进行权重设计。

常见误区

• 误区一：曝光帧数越多越好。超过 5 帧后，融合收益递减，且运动鬼影概率增加。
• 误区二：忽略 CRF 非线性。若直接在线性域融合，会导致中间调偏暗或偏亮。
• 误区三：色调映射过度。局部映射算法参数不当会产生光晕，需通过边缘保持滤波约束。

4.4 去噪与去模糊：逆问题的正则化求解

核心原理

去噪与去模糊本质上是图像逆问题：\( y = Hx + n \)，其中 H 为恒等（去噪）或模糊核卷积（去模糊）。多帧版本则扩展为 \( y_k = H_k x + n_k \)，利用帧间差异提供额外约束。去噪的关键在于区分信号与噪声的统计特性——自然图像在变换域（小波、DCT）具有稀疏性，而噪声为稠密分布。去模糊则需估计模糊核（运动模糊的 PSF 或失焦模糊的圆盘函数），再进行非盲或盲反卷积。多帧去模糊的优势在于：不同帧的模糊方向可能不同，联合估计可消除单帧反卷积的病态性。

判断方法与流程

工程中需先判断噪声类型（高斯/泊松/椒盐）与模糊类型（运动/失焦/大气湍流），再选择算法。通用流程如下：

1. 噪声估计：对平坦区域计算标准差，或使用 MAD 法（中位偏差）估计噪声水平。
2. 模糊核估计：对运动模糊，通过频谱零点或 cepstrum 分析估计模糊长度与角度；对失焦模糊，通过边缘剖面拟合估计圆盘半径。
3. 多帧联合重建：将多帧数据堆叠为高维观测向量，使用 ADMM 或 FISTA 算法求解带正则化的最小二乘问题。
4. 参数调优：正则化系数 λ 控制保真度与平滑度的平衡，通常用 L-curve 或交叉验证确定。

常见误区与总结

• 误区一：盲目使用深度学习模型。轻量级 CNN 去噪在真实噪声（非高斯）下可能失效，需先校准噪声模型。
• 误区二：去模糊后过度锐化。反卷积本身会放大噪声，需在迭代中引入 TV 正则或 BM3D 先验。
• 误区三：忽略多帧之间的曝光差异。自动曝光导致帧间亮度不一致，需先进行增益归一化再联合处理。

总结而言，计算摄影学的五大基础技术并非孤立存在，而是共享“多帧采集—配准—联合重建”的统一框架。实际系统中，HDR 与去噪常同时进行（多曝光多帧融合），超分辨率与去模糊也需联合求解（模糊核未知时的盲 SR）。理解各技术的数学本质与工程约束，是设计高效计算成像系统的关键。建议学习者在实践中从“单帧质量瓶颈”出发，反向推导需要何种多帧策略，而非机械套用算法模板。