2、成像基础：光与颜色模型、镜头与传感器原理、曝光三角（光圈、快门、ISO）及其对图像质量的影响
计算摄影的本质，是用算法与硬件协同的方式，在物理成像的约束下重建或增强视觉信息。要理解计算摄影的各类算法（如HDR、多帧降噪、景深合成），首先必须透彻理解成像链路的底层物理逻辑：光如何被描述、镜头如何汇聚光线、传感器如何将光子转换为数字信号，以及曝光三要素如何共同决定最终图像的质量边界。本章将围绕这三条主线展开，为后续所有计算摄影技术建立坚实的物理与信号基础。
2.1 光与颜色模型：从物理量到数字编码
核心原理：光是电磁波，其可见光波段（约380nm-780nm）进入人眼后，由视锥细胞（S/M/L三种，分别对应短、中、长波长敏感）产生颜色感知。在成像系统中，我们使用光谱功率分布（SPD）来描述光源或物体反射光的物理属性。然而，数字传感器无法直接记录连续光谱，只能通过滤色片阵列（如Bayer RGGB）将光谱离散采样为红、绿、蓝三个通道的强度值。这一过程涉及两个关键转换：物理光谱→人眼感知（颜色匹配函数）和人眼感知→数字编码（色彩空间）。
颜色模型体系：在计算摄影中，最常用的颜色模型包括：
- RGB模型：面向显示设备的加色模型，sRGB是最常见的标准色域，但其色域范围有限，无法覆盖人眼可见的全部颜色。
- XYZ模型：基于人眼颜色匹配函数的线性变换，是颜色度量的基准，所有其他颜色空间均可由XYZ推导。
- Lab模型：感知均匀的颜色空间，L表示明度，a和b表示对立色度通道，常用于图像处理中的色彩调整和色差评估。
- HSV/HSL模型：面向用户交互的圆柱坐标模型，将色相、饱和度与亮度分离，便于算法进行色调映射和色彩增强。
白平衡与色温：不同光源的色温（以开尔文K为单位）决定了场景的偏色倾向。例如，日光约5500K，白炽灯约2800K，阴天约6500K。传感器记录的原始数据中，R/G/B通道的响应比例会随光源色温变化。白平衡算法的本质是估计光源色温，并施加增益使中性灰物体在RGB空间中呈现R=G=B。在计算摄影中，自动白平衡（AWB）通常基于灰度世界假设或边缘统计方法，但极端色温场景下需要结合场景语义信息进行修正。
| 颜色模型 | 主要用途 | 关键特性 | 典型应用场景 |
|---|---|---|---|
| sRGB | 显示与存储 | 色域窄，Gamma 2.2 | 网页图片、普通显示器 |
| Adobe RGB | 专业打印 | 色域比sRGB大35% | 摄影后期、印刷 |
| DCI-P3 | 影视与移动设备 | 覆盖约45%可见色域 | HDR视频、旗舰手机屏幕 |
| Rec.2020 | 超高清HDR | 色域极广，支持HDR | 8K HDR电视、专业监视器 |
2.2 镜头与传感器原理：光学成像的物理边界
镜头核心参数：镜头是光学成像的第一道物理关卡。焦距（f）决定视场角，光圈（f-number = 焦距/入瞳直径）控制进光量和景深。理想薄透镜公式为 1/f = 1/u + 1/v（u为物距，v为像距），但实际镜头存在多种像差：球差、彗差、像散、场曲、畸变和色差。在计算摄影中，我们尤其关注畸变（桶形/枕形）和色差（紫边），因为它们可以通过算法进行校正。镜头的分辨率能力通常用MTF（调制传递函数）曲线描述，它反映了不同空间频率下对比度的传递效率。
传感器工作原理：现代CMOS传感器采用背照式（BSI）或堆栈式结构，每个像素包含一个光电二极管和多个晶体管。光子入射后，在硅基中激发电子-空穴对，光生电子被收集在势阱中，其数量与入射光子数成正比。关键性能指标包括：
- 量子效率（QE）：入射光子转化为电子的比例，通常为50%-80%。
- 满阱容量（FWC）：像素能容纳的最大电子数，决定单帧动态范围上限。
- 读出噪声：信号读出过程中引入的电子噪声，通常为1-5 e-（电子数）。
- 暗电流：热激发产生的非光生电子，长曝光时显著，需通过制冷或暗帧扣除。
Bayer阵列与去马赛克：为了在单芯片上记录彩色信息，传感器表面覆盖Bayer滤色阵列（RGGB 2x2模式）。每个像素只记录一种颜色，需要通过去马赛克算法（如双线性插值、边缘导向插值、基于深度学习的重建）恢复全分辨率RGB图像。这一过程是计算摄影中信息重建的经典问题，也是超分辨率、伪影消除等算法的切入点。
2.3 曝光三角：光圈、快门、ISO的协同与权衡
核心原理：曝光量（EV）由光圈、快门和ISO三者共同决定。光圈控制单位时间进光量（面积与f-number平方成反比），快门控制曝光持续时间，ISO则是对传感器模拟信号进行增益放大（或数字增益）。三者对图像质量的影响并非独立，而是存在复杂的耦合关系：
- 光圈（Aperture）：f值越小，进光量越大，但景深越浅（背景虚化强），同时镜头在最大光圈时通常存在分辨率下降和暗角。f/8-f/11通常是镜头的最佳光圈（衍射与像差平衡点）。
- 快门（Shutter）：快门时间越长，进光量越大，但手持拍摄时超过安全快门（1/焦距）会产生运动模糊。高速快门可凝固瞬间，但需要更大光圈或更高ISO补偿。
- ISO（感光度）：ISO提升本质是放大信号，但同时也放大了噪声。低ISO（100-200）提供最佳信噪比，高ISO（3200以上）在暗光下可用，但会引入亮度噪声和色度噪声，降低动态范围。
判断方法：在实际拍摄中，曝光决策遵循"先定ISO（尽量低），再定光圈（根据景深需求），最后定快门（满足曝光量）"的优先级。但在计算摄影中，这一逻辑被颠覆：我们可以通过多帧合成、HDR、降噪算法来弥补硬件上的曝光不足。例如，手持夜景模式采用"短曝光连拍+多帧对齐+堆栈降噪"策略，而非单纯提高ISO。
| 参数 | 增加时的效果 | 减少时的效果 | 典型计算摄影补偿手段 |
|---|---|---|---|
| 光圈（f值↓） | 进光量↑，景深↓，边缘画质↓ | 进光量↓，景深↑，衍射↑ | 多帧景深合成（焦点堆栈） |
| 快门（时间↑） | 进光量↑，运动模糊↑ | 进光量↓，画面更清晰 | EIS电子防抖 + 多帧对齐 |
| ISO（数值↑） | 亮度↑，噪声↑，动态范围↓ | 亮度↓，噪声↓ | 多帧降噪（BM3D/深度学习） |
2.4 实战案例：暗光手持拍摄的曝光策略与算法补偿
场景背景：某旗舰手机在夜间手持拍摄城市街景，环境照度约5 lux（相当于昏暗路灯下），目标场景包含高动态范围（霓虹灯招牌与阴影区域）。用户要求：画面亮度适中、噪点可控、运动物体（行人）不产生明显拖影。
初始参数与约束：传感器像素尺寸1.2μm，FWC=25000e-，读出噪声=1.5e-，镜头光圈f/1.8，焦距26mm（等效）。安全快门为1/30s（无OIS时），但该机型配备OIS，可支持1/8s手持。
分析判断过程：
- 曝光量估算：在5 lux照度下，f/1.8、1/8s、ISO 100的理论曝光不足约8EV。若强行将ISO提升至6400，单帧信噪比将下降约18dB（噪声增加8倍），画面会出现明显噪点。
- 方案选择：采用"三帧包围曝光+多帧降噪"策略：分别以1/8s（ISO 800）、1/30s（ISO 1600）、1/125s（ISO 3200）拍摄三帧，覆盖不同亮度区间。长曝光帧保留暗部细节，短曝光帧保护高光不过曝。
- 算法处理流程：首先进行帧间配准（基于光流或特征点），然后对三帧进行HDR融合（权重根据亮度置信度），最后应用时域降噪（利用多帧冗余信息）和频域锐化。
实际操作与结果：最终输出图像在暗部区域的SNR比单帧ISO 6400提升了约12dB（等效ISO降低至约1600的噪声水平），高光区域（霓虹灯）无过曝，行人因短曝光帧的贡献而保持清晰轮廓。代价是算法处理时间增加约300ms，且运动物体边缘出现轻微鬼影（可通过运动掩膜抑制）。
复盘经验：该案例表明，计算摄影的曝光决策不应局限于传统"曝光三角"的单一帧优化，而应扩展为多帧曝光策略设计。关键权衡点在于：帧数越多，噪声抑制越好，但鬼影风险和处理延迟越高；曝光时间跨度越大，动态范围越广，但帧间配准难度越大。实际工程中，需要根据场景运动程度动态调整帧数和曝光组合。