📚 课程目录第2章 sensor基础原理

2. sensor 基础原理：光电转换原理、Bayer 阵列与色彩滤波、像素结构与灵敏度

在 ISP 调试链路中，sensor 是图像信号的源头。理解 sensor 的光电转换机制、色彩滤波阵列（CFA）以及像素结构，是进行 sensor 选型与 ISP 参数适配的前提。本节从物理原理出发，逐步拆解 sensor 的核心工作环节。

2.1 光电转换原理

sensor 的核心功能是将入射光子转换为电信号，这一过程遵循光电效应。当光子撞击感光区域（硅基光电二极管）时，若光子能量大于硅的禁带宽度，会激发电子-空穴对。产生的光生电子被收集并转换为电压信号，再经 ADC 量化输出数字码值。

光电转换的线性响应区间是 sensor 性能的关键指标，直接影响动态范围和信噪比。

  关键公式： Vout = (Iph × tint) / Cpd

  其中 Iph 为光生电流，tint 为积分时间，Cpd 为光电二极管电容。

2.2 Bayer 阵列与色彩滤波

单个像素只能感知光强，无法区分颜色。为了获取彩色图像，sensor 表面覆盖色彩滤波阵列（CFA），最通用的模式是 Bayer 阵列。Bayer 阵列按 2×2 单元排列：一个红色（R）像素、两个绿色（G）像素、一个蓝色（B）像素。绿色通道采样率是红/蓝的两倍，以匹配人眼对绿色更敏感的特性。

参数	Bayer RGGB	Bayer RCCC	Bayer RYYCy
适用场景	通用消费/安防	低照度监控	高灵敏度工业
绿色占比	50%	0%	50% (黄+青)
色彩还原	优秀	较差	中等
灵敏度	基准	高（无绿色滤波）	较高

ISP 适配要点： Bayer 模式决定了 demosaic 算法的输入格式。海思平台支持 RGGB、BGGR、GRBG、GBRG 四种排列顺序，必须在 sensor 初始化时正确配置 bayer_pattern 参数，否则会出现颜色错乱。

2.3 像素结构与灵敏度

现代 CMOS sensor 像素通常采用 4T（4-Transistor）有源像素结构，包含光电二极管（PD）、传输门（TG）、复位管（RST）、源极跟随器（SF）和行选管（RS）。像素灵敏度由以下因素共同决定：

量子效率（QE）： 光子转换为电子的效率，受微透镜、滤光片透射率、填充因子影响。
转换增益（CG）： 电荷转换为电压的增益，单位 μV/e⁻，高增益有利于低照度但会降低满阱容量。
满阱容量（FWC）： 像素可容纳的最大电子数，决定动态范围上限。
暗电流： 无光照时产生的热噪声电子，随温度升高呈指数增长。

像素参数	典型值范围	对图像质量的影响
像素尺寸	1.0 μm ~ 5.0 μm	越大灵敏度越高，但分辨率降低
量子效率	50% ~ 90%	越高低照度性能越好
转换增益	30 ~ 150 μV/e⁻	高增益提升 SNR，但降低动态范围
满阱容量	5k ~ 100k e⁻	越大高光不饱和，动态范围宽
暗电流	10 ~ 100 e⁻/s (25°C)	越大暗部噪声越明显，需黑电平校正

选型避坑： 像素尺寸并非越小越好。1.0 μm 以下像素虽然分辨率高，但灵敏度急剧下降，暗电流占比上升，导致低照度 SNR 恶化。海思 ISP 对高灵敏度 sensor 的降噪参数（如 2D/3D NR）需要针对性调优，否则容易出现涂抹或伪影。

2.4 灵敏度与 ISP 调试的关联

sensor 灵敏度直接影响 ISP 的曝光策略和降噪强度。高灵敏度 sensor 在低照度下能提供更高的 SNR，ISP 可以降低数字增益和降噪强度，保留更多细节。低灵敏度 sensor 则需要 ISP 大幅提升模拟/数字增益，导致噪声放大，必须配合强降噪算法，容易产生细节丢失和伪影。

  海思平台适配建议：

  - 高灵敏度 sensor（如 2.8 μm 以上）：优先使用低增益模式，ISP 的 AE 目标亮度可设较低，降噪强度 3~5 级。

  - 低灵敏度 sensor（如 1.0 μm 以下）：建议开启 sensor 的 HDR 模式，ISP 的 AE 目标亮度适当提高，降噪强度 7~9 级，并启用 3D NR 时域滤波。