2. 光学系统与传感器：镜头与光圈、CMOS/CCD传感器原理、彩色滤波阵列(CFA)与Bayer格式
各位同学，咱们今天聊聊图像信号链路的最前端——光学系统与传感器。这部分是ISP的“眼睛”，如果这里出了问题，后面算法再牛也救不回来。我做了这么多年图像处理，见过太多因为镜头选型失误导致项目返工的案例，所以这一章咱们得好好掰扯清楚。
2.1 镜头与光圈：光线的“第一道关卡”
镜头和光圈，说白了就是控制“进光量”和“成像质量”的机械结构。你想想看，光线从被摄物体出发，第一站就是镜头。
2.1.1 镜头核心参数
我个人习惯把镜头参数分成三类：焦距、光圈、像差。咱们一个一个看。
| 参数 | 物理含义 | 对图像的影响 |
|---|---|---|
| 焦距 (f) | 镜头中心到焦平面的距离 | 决定视场角(FOV)：焦距越短，视野越宽；焦距越长，看得越远 |
| 光圈 (F-number) | 焦距/通光孔径直径 (F = f/D) | 控制进光量、景深、衍射极限 |
| 畸变 | 像平面几何失真 | 桶形/枕形畸变，需要标定补偿 |
| MTF | 调制传递函数 | 衡量镜头对比度传递能力，越高越清晰 |
2.1.2 光圈与景深控制
光圈大小直接影响两个东西：进光量和景深。大光圈（小F值）进光多，背景虚化好；小光圈（大F值）进光少，但前后都清晰。
但这里有个陷阱——衍射极限。当光圈小到一定程度（比如F/16以上），光线通过小孔会发生衍射，图像反而变模糊。我建议一般控制在F/2.8到F/8之间，这是大多数镜头的“甜区”。
2.2 CMOS与CCD传感器：光电转换的核心
光线穿过镜头后，就落到传感器上了。目前主流是CMOS，CCD基本退出了消费市场。但咱们做硬件的，两种原理都得懂。
2.2.1 CCD vs. CMOS：一场技术路线的对决
| 特性 | CCD | CMOS |
|---|---|---|
| 读出方式 | 全局快门，逐行电荷转移 | 卷帘快门或全局快门，像素级ADC |
| 噪声 | 低噪声，高信噪比 | 固定模式噪声(FPN)较明显 |
| 功耗 | 高（需要多路高压驱动） | 低（单电源，集成度高） |
| 速度 | 慢（串行读出） | 快（并行读出，支持高帧率） |
| 成本 | 高（特殊工艺） | 低（标准CMOS工艺） |
| 应用场景 | 科学级、天文、医疗 | 手机、安防、汽车、工业 |
为什么CMOS成了主流？说白了就是成本和集成度。CMOS可以把ADC、时序控制、甚至ISP都集成在一个芯片上，而CCD需要外部多路驱动芯片。我记得2010年左右，手机摄像头还是CCD的天下，但CMOS工艺一成熟，CCD就迅速被淘汰了。
2.2.2 传感器关键指标
- 量子效率(QE)： 光子转换为电子的效率。一般CMOS的QE在50%-70%之间，背照式(BSI)可以做到90%以上。
- 满阱容量(FWC)： 单个像素能容纳的最大电子数。决定了动态范围。
- 暗电流： 没有光照时产生的电子。温度每升高10°C，暗电流翻倍。所以工业相机都带制冷。
- 读出噪声： 读出电路引入的噪声。现代CMOS可以做到1-3个电子。
2.3 彩色滤波阵列(CFA)与Bayer格式
传感器本身只能感知光的强度，分不出颜色。怎么办？在像素上覆盖一层彩色滤光片，这就是CFA。最常见的CFA就是Bayer格式。
2.3.1 Bayer格式的排列逻辑
Bayer格式的排列是：一行绿-红交替，下一行蓝-绿交替。为什么绿色占一半？因为人眼对绿色最敏感。这个设计很巧妙，用最少的像素数模拟了人眼的色彩感知。
// Bayer RGGB排列示例（2x2单元）
R G
G B
// 实际传感器上的重复模式
R G R G R G
G B G B G B
R G R G R G
G B G B G B每个像素只采集一种颜色，另外两种颜色需要通过插值（去马赛克）得到。这就是为什么原始RAW数据看起来是灰蒙蒙的——每个像素只有1/3的颜色信息。
2.3.2 其他CFA模式
除了Bayer，还有几种常见的CFA模式：
| 模式 | 排列 | 特点 |
|---|---|---|
| Bayer RGGB | 2x2单元，绿占50% | 最主流，兼容性好 |
| X-Trans (Fujifilm) | 6x6单元，不规则排列 | 减少摩尔纹，去马赛克效果更好 |
| Quad Bayer | 4x4单元，每4个同色像素一组 | 支持高像素合并，暗光性能好 |
| RGBW | 加入白色像素 | 提高感光度，但色彩精度下降 |
2.3.3 CFA带来的问题：混叠与摩尔纹
Bayer格式有个天生缺陷——空间混叠。因为每个像素只采样一种颜色，高频细节（比如细条纹）会产生摩尔纹。为什么会这样？因为采样频率不够，高频信号被“折叠”到了低频。
解决方法是加光学低通滤波器(OLPF)，在镜头和传感器之间放一片晶体，把高频细节模糊掉。但这样会损失锐度。现在很多高端相机干脆不加OLPF，靠算法去摩尔纹。
2.4 本章知识体系
下面这张图总结了光学系统与传感器的核心链路，从光线入射到RAW数据输出，每一步都有讲究。
嗯，这一章的内容就到这里。光学系统和传感器是ISP的基石，理解透了，后面讲去马赛克、去噪、白平衡时你才能明白“为什么这么做”。记住：好的图像质量，70%靠前端硬件，30%靠算法。前端没做好，后端算法再强也是白搭。