📚 课程目录第2章图像基础与成像原理

图像基础与成像原理：分辨率、像素、模糊成因与图像退化模型

超分辨率重建的目标是从低质量观测中恢复出高质量图像，而这一任务的数学基础与物理前提，正是对“图像如何形成”以及“图像如何退化”的深刻理解。如果不清楚一张模糊图像究竟丢失了什么信息、丢失发生在哪个环节，那么任何算法都只是盲目的数值拟合。本章将系统梳理分辨率与像素的本质、模糊与噪声的物理来源，并建立统一的图像退化模型——这是后续所有超分辨率算法（从插值到深度学习）共同遵循的数学框架。

2.1 分辨率与像素：从连续光场到离散数字图像

图像在物理世界中本质上是连续分布的光场强度函数 f(x, y)，其中 (x, y) 表示空间坐标，f 值代表该点的辐照度或反射率。数字图像则是通过采样和量化将连续函数离散化的结果。像素（Pixel）是图像的最小组成单元，每个像素存储一个量化后的灰度值或颜色向量。分辨率这一概念需要从多个维度理解：空间分辨率（每单位长度内的像素对数，如 lp/mm 或 dpi）、灰度分辨率（每个像素的比特深度，如 8bit 对应 256 级灰度）、时间分辨率（视频帧率）以及光谱分辨率（波段数）。

在超分辨率语境下，我们最关心的是空间分辨率。根据奈奎斯特采样定理，要无失真地重建一个带宽有限的连续信号，采样频率必须至少为该信号最高频率的两倍。当传感器像素尺寸过大、像素间距过宽时，高频细节（如边缘、纹理）就会发生混叠（Aliasing），混叠成分与低频成分相互纠缠，导致无法从单帧图像中直接恢复高频信息。这正是超分辨率算法需要利用多帧亚像素位移或学习先验来“突破”的物理限制。

分辨率类型	定义	对超分的影响
空间分辨率	单位面积内可分辨的线对数量	决定高频细节上限，超分主要提升此维度
灰度分辨率	像素值量化位数（bit depth）	影响噪声水平与量化误差，8bit 图像超分需注意带状伪影
时间分辨率	视频帧率（fps）	多帧超分依赖帧间亚像素运动
光谱分辨率	波段数量与带宽	多光谱超分需保持波段间相关性

经验判断：一张 1920×1080 的图片，若其内容本身只包含低频渐变（如天空），则其“有效分辨率”远低于传感器标称值。超分算法对这类图像提升有限，因为信息源中本就没有可恢复的高频成分。反之，若图像包含密集纹理或锐利边缘，即使分辨率较低，超分算法也有更大的发挥空间。

2.2 模糊成因：光学、运动与传感器退化

模糊（Blur）是图像退化中最主要的成分，其本质是高频信息的衰减或丢失。从物理来源上，模糊可分为三类：

光学模糊：由镜头衍射、离焦、像差引起。衍射极限由光圈大小决定，艾里斑半径约为 1.22λF/#；离焦则使点光源扩散为弥散圆。光学模糊通常用点扩散函数（PSF）描述，理想情况下 PSF 是二维高斯函数或圆盘函数。
运动模糊：当相机或场景在曝光时间内发生相对运动时，同一场景点在传感器上沿运动轨迹积分，形成方向性模糊。匀速直线运动的 PSF 是一条线段，其长度与曝光时间和运动速度成正比。
传感器模糊：每个像素对入射光进行空间积分，等效于一个矩形窗函数与场景的卷积。像素尺寸越大，积分区域越宽，模糊越严重。此外，微透镜阵列、色彩滤波阵列（CFA）插值也会引入额外退化。

在遥感或天文观测中，大气湍流引起的随机波前畸变也会造成时变模糊，这类模糊的 PSF 随时间变化且难以精确建模，是盲超分（Blind SR）的主要研究对象。

  核心原理——PSF 与卷积：退化过程在数学上可表示为清晰图像与 PSF 的卷积：g_blur(x,y) = f(x,y) * h(x,y)。其中 h 为 PSF。超分算法若已知 PSF，则可通过反卷积或学习型网络进行逆变换；若 PSF 未知，则需要同时估计 PSF 和清晰图像，即盲反卷积问题。实际工程中，PSF 往往随空间位置变化（如离焦量随视场角变化），这增加了建模难度。

2.3 图像退化模型：统一数学框架

将上述退化因素整合，得到经典观测模型：

g = D(H(f)) + n

其中：
f ∈ R^(H×W)     —— 理想高分辨率图像（未知）
H               —— 模糊算子（循环卷积矩阵，由PSF决定）
D               —— 下采样算子（像素积分 + 抽取，比例因子 s）
n               —— 加性噪声（高斯/泊松/椒盐）
g ∈ R^(H/s × W/s) —— 实际低分辨率观测

该模型揭示了超分辨率问题的本质：从低维观测 g 反推高维未知量 f，这是一个典型的病态逆问题（Ill-posed Problem）。因为 D 不是满秩映射，H 可能不可逆，且 n 引入随机扰动，导致解不唯一且对噪声敏感。因此，所有超分算法都必须引入先验信息（如平滑性、稀疏性、自相似性或深度网络学习到的自然图像分布）来约束解空间。

退化分量	数学表达	典型参数	超分处理策略
模糊 H	卷积 h(x,y)	高斯核 σ=1.5，运动长度 L=8px	已知核：反卷积/条件生成；未知核：核估计 + 交替优化
下采样 D	平均池化 + 抽取	比例因子 s=2/3/4	亚像素卷积、PixelShuffle、多帧配准
噪声 n	加性高斯 N(0, σ²)	σ=5/10/25（8bit图像）	去噪预处理、噪声鲁棒损失函数

2.4 案例拆解：从退化模型到超分方案设计

假设我们有一张由手机拍摄的 1280×720 夜景照片，目标是将它放大 2 倍至 2560×1440。初始现象：照片整体偏暗，边缘有轻微锯齿，放大后细节模糊且伴有明显噪点。关键输入参数：ISO 3200，曝光时间 1/15s，光圈 f/1.8，传感器像素尺寸 1.4μm。分析判断过程：

模糊来源识别：f/1.8 光圈较大，衍射极限较低，但离焦可能性小；1/15s 曝光在手持拍摄下会产生约 2-3 像素的运动模糊；高 ISO 导致噪声 σ 约 12-15（8bit 灰度）。
退化模型构建：H 为运动模糊核（长度 3px，角度约 15°）与轻微高斯模糊（σ=0.8）的复合；D 为 2 倍下采样；n 为高斯噪声 σ=13。
方案选择：若直接使用 ESRGAN 等通用超分模型，由于训练数据多为理想 bicubic 退化，对真实退化效果不佳。因此采用两步策略：先估计运动模糊核并做去卷积（Wiener 滤波），再送入针对噪声鲁棒的 SwinIR 模型，最后用多帧融合（若有多张连拍）进一步抑制噪声。
实际操作：使用 OpenCV 的 estimateMotionBlur 函数估计核参数，然后执行 Richardson-Lucy 反卷积（迭代 20 次），再将结果输入预训练的 SwinIR（Real-SR 版本），输出 2 倍放大图像。
结果对比：直接 bicubic 放大 PSNR 为 28.3dB，SSIM 0.812；退化感知方案 PSNR 提升至 31.7dB，SSIM 0.891。视觉上边缘更锐利，噪点明显减少。
风险与代价：反卷积可能放大振铃效应，需在迭代中引入总变分正则化；SwinIR 推理时间约 1.2s/张（GPU），若需实时处理需改用轻量级模型。

常见误区：不要将超分算法视为“万能放大镜”。当退化模型严重失配时（例如实际模糊核与假设的高斯核差异很大），超分结果可能比双三次插值更差，产生伪纹理或结构扭曲。工程中务必先做退化核估计，或使用盲超分模型（如 DASR、Real-ESRGAN）来适应未知退化。

2.5 总结复盘：退化模型对超分算法的指导意义

本章的核心在于建立“退化模型决定算法上限”的认知。任何超分算法本质上都是在求解逆问题，而逆问题的难度由退化算子的条件数决定。当模糊核较大、下采样比例较高、噪声较强时，信息丢失严重，算法需要更强的先验来“脑补”缺失的高频细节。理解像素与分辨率的物理含义，有助于判断超分任务的可行性边界；掌握模糊成因，才能针对性地设计预处理或核估计模块；而统一的退化模型则是连接传统优化方法与深度学习的桥梁——深度学习网络本质上是在大量数据上隐式学习退化模型的逆映射。