2. 图像传感器与镜头光学基础
在ISP流水线中,LSC校正与坏点修复是最靠近传感器原始数据的前端处理模块。要精准调优这两个模块,必须深入理解CMOS传感器的工作原理、镜头的光学特性以及坏点产生的物理机理。本章从物理层出发,建立光学与电学的基础认知。
2.1 CMOS传感器工作原理
CMOS(Complementary Metal-Oxide-Semiconductor)图像传感器将光信号转换为电信号,其核心结构是一个由数百万个像素单元组成的二维阵列。每个像素单元包含一个光电二极管(Photodiode)和若干个晶体管。
核心工作流程: 光子入射 → 光电效应产生电子 → 电荷积累 → 行选通读出 → 模数转换(ADC) → 数字像素值输出。
2.1.1 像素单元结构
现代CMOS传感器多采用4T有源像素结构(4-Transistor Active Pixel Sensor),其基本组成如下:
| 组件 | 符号 | 功能描述 |
|---|---|---|
| 光电二极管 | PD | 将入射光子转换为电子-空穴对,积累电荷 |
| 传输门 | TX | 控制PD中积累的电荷转移到浮置扩散区(FD) |
| 复位晶体管 | RST | 将FD节点复位到参考电压(VDD) |
| 源极跟随器 | SF | 将FD节点的电压缓冲输出,提供驱动能力 |
| 行选晶体管 | RS | 控制当前像素行是否连接到列总线 |
调优提示: 4T结构的传输门TX时序直接影响暗电流和读出噪声。在低光照场景下,TX的驱动电压和脉冲宽度是降低固定模式噪声(FPN)的关键调优参数。
2.1.2 卷帘快门与全局快门
CMOS传感器主要采用两种读出方式:
- 卷帘快门(Rolling Shutter): 逐行曝光、逐行读出。优点是像素密度高、成本低;缺点是拍摄快速运动物体时会产生“果冻效应”。
- 全局快门(Global Shutter): 所有像素同时曝光,同时读出。优点是无果冻效应;缺点是每个像素需要额外的存储电容,降低了填充因子和灵敏度。
下图展示了卷帘快门与全局快门的曝光时序差异:
2.2 镜头光学特性与边缘亮度衰减
镜头并非理想的光学系统,其物理特性会引入多种图像缺陷。其中,边缘亮度衰减(Lens Shading)是LSC校正的直接处理对象。
2.2.1 边缘亮度衰减的物理成因
边缘亮度衰减主要由以下三个物理效应叠加产生:
- 余弦四次方定律(Cos⁴ Law): 像平面边缘点接收到的光强与入射角余弦的四次方成正比。离轴角度越大,亮度衰减越严重。
- 渐晕效应(Vignetting): 镜头机械结构(如镜筒、光圈)对斜入射光线的遮挡,导致边缘区域有效通光孔径减小。
- 像素角度响应(Pixel Angular Response): 微透镜和光电二极管对斜入射光的收集效率下降,尤其是大角度入射时。
工程注意: 在广角镜头或大光圈场景下,边缘亮度衰减可达到中心亮度的50%甚至更低。如果不做LSC校正,图像四周会明显偏暗,且伴随色彩偏移(Color Shading)。
2.2.2 亮度衰减的数学模型
在ISP工程中,通常使用多项式模型或网格模型来描述亮度衰减。一个简化的径向衰减模型如下:
// 径向亮度衰减模型
// gain(r) = 1 + a1 * r^2 + a2 * r^4 + a3 * r^6
// 其中 r 为归一化半径 (0.0 ~ 1.0)
float calc_lsc_gain(float r, float a1, float a2, float a3) {
float r2 = r * r;
float r4 = r2 * r2;
float r6 = r4 * r2;
return 1.0f + a1 * r2 + a2 * r4 + a3 * r6;
}
下表展示了不同离轴角度下的典型亮度衰减值(以中心亮度为1.0参考):
| 离轴角度(度) | 归一化半径 r | Cos⁴ 理论衰减 | 典型实测衰减(含渐晕) |
|---|---|---|---|
| 0 | 0.00 | 1.000 | 1.000 |
| 10 | 0.17 | 0.940 | 0.920 |
| 20 | 0.34 | 0.780 | 0.740 |
| 30 | 0.50 | 0.563 | 0.510 |
| 40 | 0.64 | 0.345 | 0.290 |
下图直观展示了径向亮度衰减的分布特征:
2.3 坏点产生的物理机理
坏点(Defective Pixel / Bad Pixel)是指传感器阵列中响应异常或完全不响应的像素。坏点修复模块需要准确识别并插值替换这些异常点。
2.3.1 坏点分类与物理成因
| 坏点类型 | 表现特征 | 物理成因 |
|---|---|---|
| 亮点(Hot Pixel) | 暗场下输出高像素值(亮斑) | 暗电流过大、FD节点漏电、杂质污染 |
| 暗点(Dead Pixel) | 亮场下输出低像素值(黑斑) | 光电二极管损坏、微透镜脱落、金属互连断路 |
| 闪烁点(Flickering Pixel) | 输出值随时间随机跳变 | 晶体管1/f噪声、随机电报信号噪声(RTS) |
| 列/行缺陷 | 整列或整行像素异常 | 列总线短路、行选信号失效、ADC通道故障 |
2.3.2 坏点产生的物理过程
从半导体物理角度看,坏点产生主要源于以下机制:
- 晶体缺陷: 硅衬底中的位错、层错等缺陷导致载流子复合中心密度异常,使光电转换效率偏离正常值。
- 杂质污染: 重金属离子(如Fe、Cu)在硅中形成深能级陷阱,增加暗电流产生率,形成亮点。
- 氧化层损伤: 栅氧化层中的陷阱电荷导致晶体管阈值电压漂移,影响电荷转移效率。
- 辐射损伤: 高能粒子(如宇宙射线)轰击硅晶格,产生位移损伤,导致永久性暗电流增加。
调优提示: 坏点检测通常基于邻域一致性判断。如果一个像素的亮度显著偏离其邻域像素(如超过3倍标准差),则标记为候选坏点。温度升高会加剧暗电流,导致亮点数量增加,因此坏点检测阈值需要随温度自适应调整。
下图展示了坏点在传感器阵列中的典型分布与检测逻辑:
2.4 传感器与镜头对ISP调优的综合影响
理解上述物理机理后,可以总结出LSC校正与坏点修复调优时需要关注的关键参数:
| 调优模块 | 关键物理参数 | 调优影响 |
|---|---|---|
| LSC校正 | 镜头F数、焦距、CRA(主光线角)、传感器微透镜偏移 | 决定LSC增益网格的形状和幅度,影响边缘信噪比 |
| 坏点修复 | 传感器温度、曝光时间、增益(ISO)、暗电流分布 | 决定坏点检测阈值和动态更新策略,影响修复准确性 |
| 色彩校正 | 镜头色差、Bayer滤光片光谱响应、红外截止滤光片 | 影响Color Shading的补偿精度,与LSC联动调优 |
工程实战要点: 在项目启动阶段,应首先获取镜头与传感器的配对数据手册,提取CRA曲线、暗电流温度系数、像素响应非均匀性(PRNU)等关键参数。这些数据是后续ISP调优的物理基准,直接影响LSC网格生成算法和坏点检测阈值的初始设定。