📚 课程目录第3章图像传感器与ISP Pipeline

3. 图像传感器与ISP Pipeline：从光子到数字图像

图像传感器和ISP Pipeline，说白了就是相机如何“看见”世界。我做了这么多年图像处理，最深的感触是：传感器是硬件基础，ISP是灵魂。没有好的ISP，再贵的传感器也拍不出好照片。

CMOS传感器是目前手机、相机、安防摄像头的主流选择。它的核心原理其实不复杂——每个像素点就是一个光电二极管，把光子转换成电子，再通过模数转换器变成数字信号。

我个人习惯把CMOS传感器的工作流程拆成三步：

这里有个关键参数——满阱容量。它决定了传感器能存多少电子。满阱越大，动态范围越宽。我在项目中遇到过一款小像素尺寸的传感器，满阱只有8000e⁻，拍高反差场景时高光区域一片死白。后来换了背照式传感器，满阱翻了一倍，效果立竿见影。

我的经验：选传感器时别只看像素数。像素尺寸和满阱容量往往更重要。我见过很多高像素手机，暗光下噪点满天飞，就是因为像素太小、满阱不够。

CMOS传感器本身只能感知光的强度，分不清颜色。那彩色照片怎么来的？答案是——彩色滤光片阵列（CFA）。

最常见的CFA是Bayer模式。它用RGGB的排列方式：每个2×2单元里，1个红色像素、2个绿色像素、1个蓝色像素。为什么绿色占两个？因为人眼对绿色最敏感，多给绿色像素能提升视觉分辨率。

嗯，这里要注意：Bayer模式输出的原始数据叫RAW图。每个像素只有一种颜色信息，其他两种颜色需要靠插值算出来。这个插值过程就是Demosaic。

Bayer模式的关键特征：

我曾经调试过一款传感器，发现Bayer排列顺序搞错了。ISP按RGGB处理，但传感器实际输出是GBRG。结果整张图颜色全乱套，红色变成蓝色，绿色变成紫色。排查了两天才找到原因——硬件文档写错了。

ISP Pipeline就是把RAW图变成人眼看着舒服的彩色图像的全流程。我习惯把它画成一条流水线：

Demosaic的任务是从Bayer RAW图恢复出完整的RGB三通道图像。说白了，就是给每个像素补上缺失的两种颜色。

最简单的算法是双线性插值——取周围同色像素的平均值。但这种方法会带来严重的伪彩色和锯齿。我建议至少用边缘导向插值，它沿着图像边缘方向插值，能保留更多细节。

避坑指南：我曾经在低光照场景下用简单插值，结果绿色通道的噪声被放大到红色和蓝色通道，整张图全是彩色噪点。后来改用先降噪再Demosaic的顺序，效果好了很多。记住：噪声会通过插值扩散。

AWB解决的是色温问题。不同光源下，白色物体的RGB比例不一样。AWB的目标就是让白色看起来是白色。

常见的AWB算法有：

我个人习惯用灰度世界法做基础，再结合色温估计做精细调整。但要注意——如果场景里大面积都是同一种颜色（比如绿色草地），灰度世界法会失效。我遇到过在足球场上拍的照片，AWB把绿色草地硬生生调成了灰色。

CCM的作用是把传感器RGB转换到标准色彩空间（比如sRGB）。为什么需要这个？因为传感器的色彩响应和人眼不一样，直接拍出来的颜色是偏的。

CCM是一个3×3矩阵：

R_out = m00 * R_in + m01 * G_in + m02 * B_in
G_out = m10 * R_in + m11 * G_in + m12 * B_in
B_out = m20 * R_in + m21 * G_in + m22 * B_in

矩阵系数通过拍摄标准色卡（比如X-Rite ColorChecker）来标定。我建议标定时用至少20张不同色温下的照片，这样CCM的泛化能力更好。

我的经验：CCM的系数不能太大。如果某个系数超过2.0，说明传感器响应和标准空间差异太大，强行校正会放大噪声。这时候应该先检查传感器本身的光谱响应。

Gamma校正解决的是亮度感知的非线性问题。人眼对暗部变化更敏感，对亮部变化不敏感。Gamma曲线就是把线性亮度映射到感知均匀的空间。

标准Gamma公式：

V_out = V_in ^ (1/γ)

其中γ通常取2.2。但要注意：

我曾经在8位深度的系统里做Gamma校正，暗部出现了明显的色阶断层。后来改用分段Gamma曲线——暗部用缓坡、亮部用陡坡，既保留了暗部细节，又避免了条带。

ISP Pipeline的每个模块都会影响最终图像质量。我总结了几条调优原则：

一句话总结：ISP Pipeline不是简单的流水线，每个模块都在互相影响。调参时要有全局视角，别只盯着一个模块猛调。