课程导入：计算成像的定义、发展背景、与传统光学的区别、课程目标与学习路径

计算成像（Computational Imaging）是近年来光学工程、信号处理与计算机视觉交叉领域中最具变革性的方向之一。它并非简单地用算法“美化”图像，而是从成像系统的物理模型出发，将光学前端设计与后端数字重建作为一个整体进行联合优化。传统光学成像追求“一次曝光、完美记录”，而计算成像则通过编码、调制与求解逆问题，在硬件受限的条件下突破分辨率、景深、帧率、光谱分辨率等传统指标的天花板。本节作为全课程的开篇，将系统梳理计算成像的学科边界、发展驱动力、与传统光学的本质差异，并给出清晰的学习路径与课程目标。

1.1 计算成像的定义与学科内涵

计算成像的严格定义可以表述为：一种将光学前端物理编码过程与后端数字信号处理联合设计的成像方法论。其核心思想是“以计算换硬件”——通过精心设计的光学掩膜、多角度照明、多帧采集或非传统探测器排列，将原本需要高成本、大体积、精密机械结构才能获取的信息，转化为可被算法求解的编码数据。计算成像系统输出的不是一张原始光强分布图，而是经过逆问题求解、统计估计或深度学习重建后的“高质量图像”或“高维数据立方体”。

从数学角度看，计算成像系统可以建模为：

g(x,y) = H[f(x,y)] + n(x,y)

其中，f(x,y) 表示场景的辐射分布（理想图像），H 表示光学系统与探测器共同构成的线性或非线性变换算子（包含衍射、像差、编码掩膜调制、采样混叠等），g(x,y) 是探测器实际采集到的原始数据，n(x,y) 为噪声项。计算成像的任务就是：已知 H 和 g，求解 f 的稳定近似解。这一逆问题通常是不适定的（ill-posed），因此需要引入正则化先验、稀疏约束或学习型先验。

1.2 发展背景：从硬件驱动到计算驱动的范式转移

计算成像的兴起并非偶然，而是多重技术趋势交汇的必然结果。理解其发展背景，有助于把握技术演进的底层逻辑。

从时间线来看，计算成像经历了三个发展阶段：萌芽期（1990s-2005）以计算全息、编码孔径成像为代表，受限于算力，仅用于军事遥感等特殊领域；成长期（2005-2015）以光场相机（Lytro）、傅里叶叠层显微（FPM）、结构光三维重建为代表，消费电子开始引入计算摄影概念；爆发期（2015至今）深度学习全面渗透，端到端光学-算法联合优化成为主流，超表面与计算成像结合开辟了新的物理极限突破路径。

1.3 与传统光学的本质区别

传统光学成像系统遵循“完美成像”的设计哲学：通过多片透镜组合校正像差，追求在焦平面上获得与场景几何相似的清晰光强分布。其设计指标以 MTF（调制传递函数）、畸变、色差等为主，评价标准是“光学系统本身的质量”。而计算成像系统则完全不同，其设计哲学是“信息最优编码与解码”。

两者的核心差异可以归纳为以下五个维度：

• 设计理念：传统光学追求“所见即所得”，计算成像追求“所算即所得”。传统系统要求光学 PSF（点扩散函数）尽量接近 δ 函数；计算成像则主动设计 PSF，使其在空间或时间上可分离、可编码，便于后续解码。
• 系统架构：传统光学是“镜头+探测器”的串联结构，光学与信号处理相互独立；计算成像将光学元件（掩膜、微透镜阵列、超表面）与重建算法视为一个联合系统，硬件与软件协同设计。
• 信息维度：传统成像只记录光强二维分布（I(x,y)），丢失了相位、光谱、偏振、深度等信息；计算成像通过编码将这些高维信息映射到二维探测器上，再通过算法解耦恢复。
• 分辨率极限：传统成像受限于阿贝衍射极限（分辨率 ≈ λ/2NA）；计算成像通过结构照明（SIM）、随机照明、超振荡等原理，可在特定条件下突破这一极限。
• 噪声与误差处理：传统成像将噪声视为“敌人”，通过增加曝光或制冷抑制；计算成像将噪声纳入成像模型，在重建过程中进行统计最优估计，甚至利用噪声的随机性实现超分辨。

1.4 课程目标与学习路径

本课程共 30 章，目标是从理论、算法、硬件、系统四个层面，帮助学习者建立完整的计算成像知识体系。完成本课程后，学习者应能够：

1. 理解计算成像的数学基础：傅里叶光学、逆问题理论、正则化方法、压缩感知。
2. 掌握主流计算成像系统的原理与实现：光场成像、编码孔径、傅里叶叠层、结构光、飞行时间（ToF）、单像素成像等。
3. 具备光学硬件设计的基本能力：理解掩膜设计、PSF 工程、探测器选型、同步触发与数据接口。
4. 熟练运用重建算法：从经典的 Lucy-Richardson 反卷积到基于深度学习的端到端重建。
5. 能够针对实际应用场景（显微、遥感、安防、手机摄影）设计计算成像方案并进行仿真验证。

学习路径建议分为四个阶段：

1.5 案例拆解：手机计算摄影中的计算成像

为了更直观地理解计算成像的工程价值，我们以智能手机计算摄影为例进行拆解。这是一个几乎人人都在使用、但很少有人意识到其背后计算成像原理的场景。

背景与约束：手机摄像头受限于机身厚度（通常小于 8mm），无法安装大孔径、长焦距的复杂镜头组。传统光学设计在如此紧凑的空间内，难以同时满足大光圈（进光量）、低畸变、高分辨率的需求。同时，手机 CMOS 传感器像素尺寸已缩小至 0.7μm 左右，受衍射极限和信噪比限制，单帧画质提升空间极为有限。

初始现象与目标：用户期望在暗光环境下拍摄出明亮、低噪声、细节丰富的照片。传统方案是延长曝光时间，但手持拍摄会产生运动模糊；提高 ISO 则引入严重噪声。计算成像的目标是：在 1/10 秒曝光时间内，通过多帧编码采集与算法融合，达到相当于 1 秒曝光的效果。

关键参数与数据：以某旗舰手机为例，其夜景模式连续采集 8-12 帧短曝光图像（每帧曝光 1/15 秒，ISO 800-1600），同时利用陀螺仪（IMU）记录每帧拍摄时的微位移数据。这些帧之间存在亚像素级的平移和旋转，且每帧的噪声模式不同。

分析判断过程：工程师面临三个核心问题：一是帧间配准，需要利用 IMU 数据和图像特征点进行亚像素级对齐；二是噪声模型估计，需要区分光子散粒噪声与读出噪声；三是融合策略，是简单平均还是基于噪声方差的加权融合，或是更复杂的多帧超分辨率重建。

实际操作步骤：

1. 采集阶段：连续拍摄 N 帧短曝光图像，同步记录 IMU 数据
2. 预处理：对每帧进行黑电平校正、镜头阴影校正、坏点剔除
3. 配准：利用 IMU 预测初始变换矩阵，再用特征匹配（ORB/SIFT）精化
4. 噪声估计：根据 ISO 和曝光时间计算每帧的噪声方差图
5. 融合重建：采用最大似然估计或加权平均，对配准后的帧序列进行融合
6. 后处理：色调映射、边缘增强、色彩校正

结果对比：单帧 ISO 3200 图像的信噪比约为 18dB，细节模糊且噪点明显；经过 8 帧融合后，等效信噪比提升至约 27dB（理论上每增加 4 帧提升 6dB），画面亮度均匀、噪声显著降低，且通过多帧亚像素位移恢复了部分高频细节。

风险与代价：多帧融合的代价是计算量增加（约 200ms 处理时间）和功耗上升；同时，如果场景中存在运动物体（如行人），帧间配准可能失败，产生重影伪影。为此，工程上引入了“运动掩膜”机制——检测运动区域并降低该区域的融合帧数，或使用语义分割指导融合权重。

复盘经验：手机计算摄影的成功表明，计算成像并非要完全替代传统光学，而是在光学硬件受限的条件下，通过算法补偿物理极限。这一思路同样适用于显微成像（补偿物镜像差）、遥感成像（补偿大气湍流）、医疗内窥（补偿微型镜头畸变）等场景。核心方法论是：先明确硬件瓶颈，再设计编码方案，最后开发匹配的重建算法。

1.6 常见误区与学习总结

在课程开始阶段，有必要澄清几个常见误区，帮助学习者建立正确的认知框架：

• 误区一：计算成像可以完全替代高质量光学镜头。事实是，计算成像可以放宽光学设计公差、简化镜头结构，但无法完全弥补极差的光学系统（如严重畸变或强散射）。光学与算法是互补关系，而非替代关系。
• 误区二：深度学习重建是万能的。深度学习模型依赖训练数据的分布，对于未见过的场景或极端噪声水平可能产生幻觉伪影（hallucination）。物理模型与学习方法的结合（即“物理信息驱动”的深度学习）是更稳健的路线。
• 误区三：计算成像只适用于高端科研设备。实际上，消费电子（手机、无人机、安防摄像头）是计算成像最大的应用市场，其算法已高度工程化并集成在 SoC 中。
• 误区四：计算成像的“超分辨率”可以无限突破物理极限。任何超分辨方法都受限于信息量（奈奎斯特采样定理的广义形式）。编码可以重新分配信息，但不能凭空创造信息。