4. Camera成像基础
Camera Display 系统的性能上限，首先由“光如何进入、如何被采样、如何被还原”这三段链路决定。显示端看到的亮度、色彩、噪声、动态范围与清晰度，本质上都是成像链路各环节共同作用的结果。理解光学、传感器与 ISP 的职责边界，才能在排障时快速判断问题发生在“进光”“采样”还是“处理”阶段。
一、光学原理：从被摄物到传感器像面
镜头是成像链路的第一道关口，其核心任务是把物方场景的光线汇聚到传感器像面，并尽量保持几何相似与能量均匀。工程上最需要关注的参数包括焦距、光圈、视场角、景深与调制传递函数（MTF）。
- 焦距 f：决定视场角与放大倍率，f 越大视场越窄、远处细节越大。
- 光圈 F 数：F = f / 有效孔径，F 越小进光量越大，但景深越浅、边缘像差更明显。
- 景深：与 F 数、焦距、对焦距离相关，影响前后景清晰范围。
- MTF：描述镜头对不同空间频率的对比度传递能力，是解析力的量化指标。
光学环节的典型问题包括暗角、色差、畸变与眩光。它们会在传感器之前就“污染”信号，后续 ISP 只能补偿而无法完全恢复。因此，评估成像质量时，必须把镜头与传感器视为一个整体系统。
二、传感器类型：光信号如何变成电信号
传感器负责将光子转换为电子并读出为数字码值。主流类型分为 CCD 与 CMOS，当前 Camera 系统几乎全部采用 CMOS，并进一步细分为前照式（FSI）、背照式（BSI）与堆栈式（Stacked）。
| 类型 | 结构特点 | 优势 | 典型限制 |
|---|---|---|---|
| CCD | 电荷逐行转移后统一读出 | 噪声低、一致性高 | 功耗高、难集成、成本高 |
| FSI CMOS | 金属布线位于感光面之上 | 工艺成熟、成本低 | 量子效率低、串扰较大 |
| BSI CMOS | 感光层翻转至布线层上方 | 进光量高、暗光更好 | 工艺复杂度提升 |
| Stacked CMOS | 像素层与逻辑层堆叠 | 高速读出、片上处理强 | 散热与成本压力 |
除结构外，还需关注像素尺寸、满阱容量、量子效率、读出噪声与快门方式。卷帘快门逐行曝光，运动场景易产生果冻效应；全局快门同时曝光，适合高速运动与机器视觉，但像素面积与成本通常更高。
三、图像信号处理流程：从 RAW 到可显示图像
ISP 把传感器输出的 RAW 数据逐步转换为符合显示与感知需求的图像。典型流水线如下：
RAW(Bayer)
→ 黑电平校正 BLC
→ 镜头阴影校正 LSC
→ 坏点校正 DPC
→ 去马赛克 Demosaic
→ 白平衡 AWB
→ 色彩校正 CCM
→ Gamma / 色调映射
→ 降噪 NR + 锐化 Sharpen
→ YUV / RGB 输出其中，去马赛克把每个像素只有单一颜色分量的 Bayer 阵列还原为三通道图像；AWB 校正不同色温光源下的偏色；CCM 保证色彩还原准确；Gamma 则把线性光信号映射到符合人眼与显示特性的非线性空间。降噪与锐化是一对矛盾体，过度锐化会放大噪声并产生白边，过度降噪会抹掉纹理。
关键认识：ISP 不是“美化滤镜”，而是把物理光信号还原为可被显示系统正确呈现的图像。任何一级参数失配，都会在显示端表现为偏色、断层、噪声或细节丢失。
四、案例与场景：暗光成像的链路定位
某 Camera 在暗光下画面噪声大、暗部细节少。按链路逐段排查：
- 光学段：检查光圈是否已开至最大，镜头是否有脏污或眩光。
- 传感器段：确认曝光时间与模拟增益是否合理，读出噪声是否随增益显著上升。
- ISP 段：检查降噪强度、Gamma 曲线与色调映射是否把暗部压得过重。
- 显示段：确认显示 Gamma 与色域映射是否与图像输出空间匹配。
若传感器读出噪声已接近底噪，继续提高增益只会放大噪声，此时应优先增加曝光时间或补光；若噪声主要来自 ISP 锐化，则应调整锐化半径与阈值，而非一味降噪。
实操建议：调试时先固定光学与曝光条件，再逐级开关 ISP 模块，观察显示端变化。这样可以把“光学问题”“传感器问题”和“处理问题”分离开来。
五、常见误区与复盘
- 误区一：只看像素数。像素高不等于成像好，像素尺寸、满阱与读出噪声同样关键。
- 误区二：把偏色全归因于 AWB。镜头色差、IR 滤光片与 CCM 都可能造成偏色。
- 误区三：过度依赖后期锐化。锐化不能恢复已丢失的 MTF，只会放大噪声与伪影。
- 误区四：忽略显示端 Gamma。图像在 ISP 端正确，显示端 Gamma 不匹配仍会显得发灰或过暗。
复盘时应建立“光学—传感器—ISP—显示”四段链路检查表，记录每段的输入输出与关键参数。只有把成像链路当作一个整体系统来度量，才能让 Camera Display 的最终呈现稳定、可预期。