3、计算成像核心思想：编码与解码、计算重建、信息论视角下的成像自由度

传统光学成像以“直接记录”为基本范式：镜头将场景的光线聚焦到探测器上，探测器记录光强分布，形成图像。这一过程看似自然，却隐含了深刻的物理限制——光学系统受衍射极限、景深、动态范围、遮挡和散射等因素的制约，导致成像分辨率、信息容量和适用场景均存在天花板。计算成像的颠覆性在于：它不再追求“一次曝光得到完美图像”，而是将成像过程拆解为编码（主动调制光场或设计非直接记录方式）与解码（通过计算重建恢复目标信息）两个环节，从而在信息论意义上重新定义成像的自由度。本章将深入剖析这一核心思想，并建立从物理编码到计算重建的完整方法论。

上图展示了计算成像的基本逻辑闭环：场景光场（高维信息）经过编码调制后，由探测器记录为低维测量值；随后通过解码与重建算法求解逆问题，最终输出重建图像或数据立方体。信息论视角贯穿始终——编码过程决定了测量矩阵的性质，而重建质量取决于测量矩阵的秩、条件数以及采样策略是否满足信息论的可恢复条件。以下从三个层面展开论述。

3.1 编码与解码：从“直接记录”到“主动调制”

核心原理

传统成像中，光学系统扮演“保真传递”的角色，探测器记录的光强分布与场景辐亮度近似线性对应。然而，这种直接记录方式受限于光学像差、衍射极限和探测器像素尺寸，信息容量被硬件物理参数锁死。计算成像的编码环节则主动引入已知的、可设计的调制函数，将场景的高维信息（如深度、相位、光谱、偏振）映射到二维探测器平面上。常见的编码方式包括：

• 空间编码：使用随机掩膜或编码孔径调制光场，如单像素成像（Single-Pixel Imaging）中的Hadamard掩膜。
• 时间编码：在曝光期间改变快门或照明模式，如编码曝光（Coded Exposure）用于运动去模糊。
• 相位编码：通过波前调制器（如空间光调制器）引入已知相位扰动，用于相位恢复或扩展景深。
• 多路复用编码：将光谱、偏振或多视角信息叠加到同一帧，如快照式光谱成像（CASSI）。

解码环节则是编码的逆过程——从低维测量值中恢复高维场景。由于测量维度通常远小于场景维度，这是一个典型的病态逆问题，需要借助先验知识（如稀疏性、平滑性、低秩性）进行正则化求解。

判断方法或操作流程

设计编码-解码系统时，需遵循以下流程：

1. 明确目标信息：确定需要恢复的维度（如深度、光谱、相位），并分析其物理特性（稀疏性、连续性）。
2. 设计编码策略：根据目标信息选择调制方式，并优化测量矩阵（如随机性、正交性、条件数）。
3. 建立前向模型：用数学表达式描述编码过程：y = Φx + n，其中 Φ 为测量矩阵，x 为场景向量，n 为噪声。
4. 选择重建算法：根据问题特性选择优化算法（如ADMM、FISTA）或深度学习方法（如Unet、Transformer）。
5. 仿真验证与迭代：在仿真环境中验证重建质量，调整编码参数，再进入硬件实现。

案例拆解：单像素成像中的Hadamard编码

单像素成像是编码-解码思想的典型代表。传统相机需要百万像素探测器，而单像素相机仅使用一个光电二极管，通过投影一系列Hadamard掩膜到场景上，每次测量得到一个标量值。假设场景有 N=64×64=4096 个像素，则需进行 M 次测量（通常 M < N）。前向模型为：

y_m = Σ_{i=1}^{N} Φ_{m,i} · x_i + n_m,  m=1,...,M

其中 Φ 为 M×N 的Hadamard矩阵（取随机行）。重建时，利用场景的稀疏性（如小波变换域），求解：

min ||x||_1  s.t.  ||y - Φx||_2 < ε

实际测试中，当 M=1024（采样率25%）时，重建图像PSNR可达28dB以上。该案例说明：编码策略（Hadamard掩膜）与重建算法（压缩感知）的匹配是成功的关键。

常见误区或总结复盘

• 误区1：认为编码越复杂越好。实际上，编码复杂度需与重建算法能力匹配，过度复杂的编码可能引入噪声放大。
• 误区2：忽略噪声模型。编码过程往往伴随光通量损失（如掩膜遮挡），导致信噪比下降，需在重建中引入噪声统计特性。
• 误区3：将编码与解码割裂设计。最优的编码策略应基于重建算法的特性进行联合优化（如端到端学习）。

3.2 计算重建：逆问题求解与算法体系

核心原理

计算重建是计算成像的“大脑”，其本质是从测量数据 y 中估计场景 x。由于测量矩阵 Φ 通常不可逆或病态，直接求逆不可行。重建算法分为三大类：

判断方法或操作流程

选择重建算法时，需评估以下指标：

1. 测量矩阵条件数：条件数接近1时，可用线性方法；条件数大时，需用正则化。
2. 噪声水平：高噪声场景需引入全变分（TV）或BM3D等去噪先验。
3. 实时性要求：若需实时处理（如视频帧率），应选择轻量级网络或近似算法。
4. 数据可用性：有大量配对数据时，深度学习优先；无数据时，用模型驱动方法。

案例拆解：编码曝光运动去模糊

传统运动去模糊中，长曝光导致运动轨迹被平均，信息丢失。编码曝光通过在曝光期间随机开关快门，将运动模糊的频域零点消除，使模糊核可逆。设场景为 x，运动速度为 v，编码曝光函数为 c(t)，则测量图像为：

y(u) = ∫ c(t) · x(u - vt) dt + n(u)

重建时，使用维纳滤波或稀疏先验求解。实验表明，编码曝光可将去模糊的PSNR从18dB提升至26dB（相比均匀曝光）。关键参数是编码序列的长度和随机性——序列越长，频域覆盖越完整，但光通量损失越大。

常见误区或总结复盘

• 误区1：盲目追求高保真重建而忽略计算成本。例如，全变分正则化在2D图像上效果好，但3D数据立方体上计算量剧增。
• 误区2：忽视测量矩阵的物理可实现性。仿真中理想的随机矩阵可能无法用硬件实现，需考虑掩膜透光率、像素填充率等限制。
• 误区3：将深度学习视为万能解。当训练数据与测试场景分布不一致时，网络可能产生幻觉伪影。

3.3 信息论视角下的成像自由度

核心原理

信息论为计算成像提供了理论边界。传统成像中，信息自由度（DOF）等于探测器像素数 N，即最多记录 N 个独立信息。计算成像通过编码扩展了测量维度，使得信息自由度可以突破像素数限制。具体而言，若测量矩阵 Φ 的秩为 r，则系统可恢复的信息维度为 r（在无噪声理想情况下）。然而，实际中受噪声和条件数影响，有效自由度 r_eff 远小于 r。

香农采样定理指出，采样率需达到信号带宽的两倍才能无失真重建。计算成像通过非线性重建打破了这一限制——如果信号在某个变换域稀疏，则可用远低于Nyquist率的采样恢复信号（压缩感知理论）。这相当于在信息论意义上“借用”了信号的先验结构，从而扩展了成像自由度。

判断方法或操作流程

评估一个计算成像系统的信息自由度，可遵循以下步骤：

1. 计算测量矩阵的秩：通过奇异值分解（SVD）得到 r。
2. 估计有效自由度：考虑噪声水平 σ，计算条件数 κ，有效自由度 r_eff ≈ r / (1+κ·σ)。
3. 对比传统系统：若 r_eff > N，则说明编码扩展了自由度。
4. 验证重建质量：通过仿真或实验，测量重建图像的互信息或PSNR，确认信息增益。

案例拆解：快照式光谱成像（CASSI）

CASSI系统通过一个编码掩膜和色散棱镜，将三维光谱数据立方体（x,y,λ）编码到二维探测器上。假设数据立方体大小为 256×256×31，探测器为 256×256，则测量矩阵 Φ 的维度为 65536 × 2031616，秩远小于列数，但通过光谱的稀疏性（如光谱曲线平滑），可恢复完整立方体。实验中，采样率仅需10%即可重建出可辨识的光谱曲线。

该案例表明：信息自由度不仅取决于硬件参数，更取决于信号的先验结构。光谱的稀疏性使得高维信息可以被压缩到低维测量中，这正是计算成像的核心优势。

常见误区或总结复盘

• 误区1：混淆“像素数”与“信息量”。像素数只是采样点数，信息量取决于测量矩阵的设计和重建算法的能力。
• 误区2：忽略噪声对自由度的侵蚀。高噪声环境下，即使测量矩阵满秩，有效自由度也会急剧下降。
• 误区3：认为自由度可以无限扩展。受限于硬件动态范围、量化位数和光学衍射极限，自由度存在物理上限。