1. 成像系统概述：从光子到数字图像，理解整个硬件通路
大家好，我是你们这堂课的主讲人。做了十几年图像质量，从最早的手机摄像头到现在的车载、安防，我最大的感触是：不懂硬件通路的ISP工程师，调参就像蒙着眼睛走路。
这一章，我们不谈复杂的算法公式。我们就聊聊，一个光子从进入镜头开始，到变成你屏幕上那张数字照片，中间到底经历了什么。说白了，就是把这根“硬件链条”上的每个环节都拆开看看。
1.1 整个链条长什么样？
我个人习惯把成像硬件通路分成四大块：光学系统 → 传感器 → 模拟前端(AFE) → ISP。你想想看，光从外部世界进入，最后变成数据存在内存里，每一步都在“翻译”信息，但每一步也都在丢失信息。
下面这张图，是我每次带新人时必画的一张图。它把整个流程串起来了。
1.2 第一站：光学系统——光子的“入场券”
光从场景出发，第一个遇到的就是镜头。镜头不只是几片玻璃，它是一个精密的光学组件。我见过很多工程师只盯着传感器参数，却忽略了镜头，结果图像边缘模糊得一塌糊涂。
镜头主要干三件事：
- 聚光：把散射的光线汇聚到传感器靶面上。
- 滤光：用红外截止滤光片(IR-Cut)挡住人眼看不见的红外光，否则颜色会偏红。
- 限制：光圈控制进光量，同时也影响景深和衍射。
1.3 第二站：图像传感器——光电转换的核心
这是整个链条的心脏。传感器把光子转换成电子，再转换成电压。目前主流就两种：CCD 和 CMOS。现在消费电子基本全是CMOS，但CCD在一些工业、科研领域还有一席之地。
我重点说说CMOS传感器里几个你必须要懂的参数：
| 参数 | 含义 | 对图像的影响 |
|---|---|---|
| 像素尺寸 | 单个像素的物理边长（如1.4μm） | 越大，进光量越多，信噪比越高；但分辨率会降低 |
| 量子效率(QE) | 光子转化为电子的比例 | QE越高，弱光性能越好 |
| 满阱容量(FWC) | 一个像素最多能容纳的电子数 | 决定了动态范围的上限 |
| 读出噪声 | 像素读出时引入的底噪 | 决定了暗光下的信噪比下限 |
| 动态范围 | 最大信号与噪声底限的比值(dB) | 决定了能同时看清亮部和暗部的能力 |
为什么会这样？你想想看，如果像素尺寸只有0.8μm，满阱容量可能只有几千个电子。这时候稍微暗一点的环境，信号就被读出噪声淹没了。这就是为什么大底手机拍照效果好的根本原因——物理规律决定的。
1.4 第三站：模拟前端(AFE)——从模拟到数字的“翻译官”
传感器输出的还是模拟电压信号，计算机不认识。AFE负责把这微弱的电压信号放大、钳位、然后通过ADC转换成数字码值。
这里有个关键概念：增益。AFE可以给信号施加模拟增益（通常用dB表示）。但增益是把双刃剑——信号放大了，噪声也放大了。
ADC的位深也很重要。12-bit ADC能输出0-4095的码值，10-bit只能输出0-1023。位深决定了亮度层次的细腻程度。你想想看，如果场景有很平滑的渐变（比如黄昏的天空），位深不够就会出现“条带效应”。
1.5 第四站：ISP——数字世界的“修图师”
终于到了数字域。ISP接收的是RAW数据——就是传感器直接输出的、未经处理的拜耳阵列数据。ISP要做的事情很多：去噪、去马赛克、白平衡、色彩校正、伽马校正、锐化……
但你要明白一点：ISP的所有处理，都是在“猜”。因为传感器丢失的信息（比如颜色、细节）是回不来的，ISP只能根据算法模型去“还原”或“增强”。
举个例子：拜耳阵列每个像素只记录一种颜色（R/G/B），ISP需要通过插值算法猜出另外两种颜色。如果猜得不好，就会出现伪色或拉链效应。
1.6 一张图总结：信号与噪声的博弈
整个成像过程，其实就是信号与噪声的博弈。光信号在每一个环节都会被衰减、被污染。ISP的终极目标，就是在不破坏信号的前提下，尽可能抑制噪声。
下面这张图，展示了信号和噪声在硬件通路中的变化趋势：
你看，信号在传感器处达到最大（因为光电转换效率最高），但经过AFE的模拟增益后，噪声也被放大了。ISP的任务就是在数字域里把噪声压下去，同时尽量保持信号的细节。
1.7 本章小结：硬件通路的“木桶效应”
最后，我想强调一个概念：木桶效应。成像系统的最终质量，取决于最短的那块板。
- 镜头分辨率不够，传感器像素再高也是白搭。
- 传感器动态范围窄，ISP再强的HDR算法也拉不回来。
- AFE噪声大，后面的去噪算法只能牺牲细节来换平滑。
所以，做ISP调优，不能只盯着ISP那一亩三分地。你得懂前面的硬件，知道瓶颈在哪。这也是为什么我把这门课的第一章设为硬件通路概述——地基不牢，地动山摇。