ISP Pipeline全景：从Sensor到最终图像的完整数据流

做图像调优这些年，我经常被问到同一个问题：「ISP到底在干什么？」

说白了，ISP就是手机相机、车载摄像头、安防监控里那个看不见的「暗房」。Sensor拍下来的原始数据，就像一张没冲洗的底片——全是噪点、偏色、暗部死黑。ISP Pipeline就是一套流水线，把这张「底片」一步步变成你屏幕上看到的漂亮照片。

1.1 数据流的起点：RAW图

Sensor输出的数据叫RAW图。每个像素只记录一种颜色——R、G、B中的一种。这就是Bayer Pattern。

RAW图特点	说明
每个像素单色	R/G/B按Bayer Pattern排列，需要插值才能变成彩色
线性数据	Sensor响应是线性的，人眼对亮度感知是非线性的
高位深	通常10bit/12bit/14bit，比最终8bit输出信息量大得多
含噪声	暗电流噪声、读出噪声、光子散粒噪声全在里面

1.2 ISP Pipeline核心模块

一个典型的ISP Pipeline，按数据流顺序大概有十几个模块。我挑几个最关键的说说。

1.3 各模块功能详解

黑电平校正（BLC）

Sensor即使在全黑环境下，也会输出一个非零值——这就是黑电平。不校正的话，暗部会发灰。

去噪（Denoise）

这是ISP里最「艺术」的模块。去噪太强，细节没了；去噪太弱，噪点满天飞。

我遇到过最头疼的情况：夜景模式下，去噪把星空的星星全磨掉了。后来我改用亮度-色度分离去噪，亮度通道保留细节，色度通道狠降噪——效果好了很多。

自动白平衡（AWB）

人眼有「色彩恒常性」——不管在日光灯下还是烛光下，看白纸都觉得是白的。但Sensor没这本事，它老老实实记录光谱。AWB就是模拟人眼的这个能力。

光源类型	色温（K）	AWB调整方向
烛光	~1800	大幅降低R增益，提升B增益
白炽灯	~2800	适当降R，升B
日光	~5500	R/G/B增益接近1:1:1
阴天	~6500	适当升R，降B
荧光灯	~4000	注意绿色分量偏多，需单独处理

去马赛克（Demosaic）

每个像素只有一种颜色，怎么变成全彩？靠插值。最简单的双线性插值，边缘会有锯齿。好一点的用方向自适应插值。

色彩校正矩阵（CCM）

Sensor的光谱响应和人眼不一样。CCM就是一个3x3矩阵，把Sensor的RGB映射到标准色域。

// CCM 示例（标准D65光源下）
[R']   [ 1.72  -0.55  -0.17] [R]
[G'] = [-0.13   1.28  -0.15] [G]
[B']   [ 0.02  -0.36   1.34] [B]

这个矩阵不是随便写的。我调CCM时，会用24色卡拍一张，然后最小化色差ΔE。但要注意——过拟合会让某些颜色「跳」出来，比如红色饱和度过高。

Gamma校正

人眼对暗部变化敏感，对亮部变化不敏感。Gamma曲线就是把更多bit分配给暗部。

标准Gamma 2.2曲线：V_out = V_in ^ (1/2.2)

但实际调优时，我很少用纯2.2。暗部提太亮会暴露噪声，亮部压太狠会丢失高光细节。我一般会在暗部用1.8-2.0，亮部用2.4-2.6——这叫「S型Gamma」。

锐化（Sharpening）

锐化本质是提取高频分量，放大后加回原图。但噪声也在高频里——锐化会把噪点一起放大。

1.4 Pipeline的「隐形」模块

除了上面这些，还有几个模块虽然不常被提起，但同样关键：

• 镜头阴影校正（LSC）：镜头边缘进光量比中心少，需要补偿。我见过最夸张的案例，边缘亮度只有中心的40%。
• 坏点校正（DPC）：Sensor总有那么几个像素是坏的——要么全亮，要么全暗。需要检测并插值替换。
• 3A统计：AE（自动曝光）、AWB、AF（自动对焦）的统计数据收集模块。3A跑得好不好，很大程度上取决于统计数据的准确性。

1.5 调优的「第一性原理」

说了这么多模块，你可能会问：这么多参数，从哪下手？

我的经验是：先保证数据流正确，再谈调优。

什么意思？就是先确认每个模块的输入输出是对的——RAW图没裁切、黑电平校正没溢出、Gamma曲线没截断。这些基础问题不解决，后面调得再好也是白搭。

我记得有一次，客户说画面偏紫。我查了三天，最后发现是CCM矩阵里一个系数写反了——B通道的负系数写成了正数。这种问题，靠调参数永远调不好。