ISP管线概述：从RAW到人眼可见的旅程
各位同学，今天我们来聊聊ISP管线。说白了，它就是一套把相机传感器拍到的RAW数据，变成你屏幕上那张漂亮照片的流水线。我做了这么多年图像处理，可以负责任地告诉你——理解这条管线，是入门RAW域处理的必修课。
你可能会问：为什么不能直接拍出好看的照片？嗯，这得从传感器说起。CMOS传感器只记录每个像素点的光强，它分不清颜色，也不知道你是在日光灯下还是夕阳下拍的。ISP管线就是来解决这些问题的。
核心认知：ISP管线不是可选项，而是必选项。没有ISP，RAW数据就是一堆杂乱无章的数字。
黑电平校正：把零点的故事讲清楚
先说说黑电平校正。传感器在完全没有光照的情况下，仍然会输出一个非零的数值。这个值就是黑电平。为什么会有这个？嗯，主要是传感器本身的暗电流和读出电路造成的。
我在项目中遇到过一台手机模组，拍出来的夜景总是偏绿。查了半天，发现是黑电平校正没做好——暗电流补偿值不对，导致暗部颜色偏移。后来重新标定了黑电平，问题就解决了。
校正公式其实很简单：
// 黑电平校正
pixel_corrected = pixel_raw - black_level
// 如果传感器有多个通道，每个通道的黑电平可能不同
pixel_corrected = pixel_raw - black_level[channel]经验之谈：黑电平不是固定值。温度升高，暗电流会增大。我建议在量产标定时，至少采集三个温度点的黑电平数据。
去噪：在细节和干净之间找平衡
去噪是ISP管线里最考验功力的模块。你想想看，传感器信号里混着各种噪声——读出噪声、光子散粒噪声、固定模式噪声……每个噪声的统计特性都不一样。
传统ISP里常用的去噪方法有：
- 空域去噪：双边滤波、非局部均值，适合处理高斯噪声
- 时域去噪：多帧叠加，适合视频场景
- 变换域去噪：小波阈值、BM3D，效果最好但计算量大
我曾经在一个安防项目里，为了在低照度下保留车牌细节，试了十几种去噪参数组合。最后发现，在RAW域做去噪比在RGB域效果好得多——因为噪声在RAW域里还没被插值和色彩变换放大。
注意：去噪过度会导致图像“塑料感”。我个人的经验是：宁可保留一点噪声，也不要丢失纹理细节。后期可以用神经网络做智能去噪，效果会好很多。
去马赛克：从黑白到彩色的魔法
传感器上的每个像素只能感知亮度，那颜色怎么来的？答案是Bayer阵列——每个像素上覆盖一个滤色片，只让红、绿或蓝光通过。典型的Bayer模式是RGGB，绿色像素占一半，因为人眼对绿色最敏感。
去马赛克就是从这些稀疏的采样点，插值出每个像素完整的RGB值。常用的方法有：
| 方法 | 原理 | 优缺点 |
|---|---|---|
| 最近邻插值 | 直接复制相邻像素 | 速度快，但锯齿严重 |
| 双线性插值 | 加权平均相邻像素 | 平滑，但边缘模糊 |
| 边缘导向插值 | 沿边缘方向插值 | 边缘保留好，计算量适中 |
| 自适应插值 | 根据局部纹理选择插值策略 | 效果最好，但复杂度高 |
去马赛克有个经典问题叫“拉链效应”——在边缘处出现交替的亮暗条纹。我记得第一次在项目中看到这个现象时，还以为是传感器坏了。后来才知道，这是插值算法在边缘处“猜错了”方向导致的。
白平衡：让白色回归白色
白平衡要解决的是色温问题。你在日光灯下拍的白纸，和夕阳下拍的白纸，传感器记录的RGB值是不一样的。但人眼会自动适应，觉得白纸就是白的。ISP里的白平衡，就是模拟这个适应过程。
传统方法有：
- 灰度世界法：假设场景中所有颜色的平均是灰色，然后调整增益
- 完美反射法：找到场景中最亮的点，假设它是白色
- 色温估计法：通过统计色温分布，查表得到增益
避坑指南：我曾经在一个户外监控项目中，发现白平衡在黄昏时频繁跳变——一会儿偏暖，一会儿偏冷。原因是场景里有大面积绿色植被，灰度世界法失效了。后来改用色温估计法，配合场景检测，才稳定下来。
色彩校正：把颜色“掰”回正轨
经过白平衡之后，颜色基本对了，但还不够准。因为传感器的色彩响应和人眼不一样，而且不同显示设备的色域也不同。色彩校正就是通过一个3x3的色彩校正矩阵（CCM），把传感器色彩空间映射到标准色彩空间（比如sRGB）。
公式长这样：
R_out = CCM[0][0]*R_in + CCM[0][1]*G_in + CCM[0][2]*B_in
G_out = CCM[1][0]*R_in + CCM[1][1]*G_in + CCM[1][2]*B_in
B_out = CCM[2][0]*R_in + CCM[2][1]*G_in + CCM[2][2]*B_inCCM的标定是个精细活。我建议用24色卡在标准光源下拍摄，然后通过最小二乘法拟合出最优矩阵。注意，不同色温下CCM可能不一样，所以有些ISP会准备多组CCM，根据色温切换。
Gamma校正：为显示设备量身定制
最后一步是Gamma校正。人眼对暗部的变化更敏感，对亮部的变化不敏感。而显示设备的亮度响应是非线性的——输入电压和输出亮度呈幂律关系。Gamma校正就是做这个匹配。
标准Gamma曲线：
// Gamma校正（sRGB标准）
if (pixel <= 0.0031308) {
pixel_out = 12.92 * pixel;
} else {
pixel_out = 1.055 * pow(pixel, 1/2.4) - 0.055;
}这里有个容易踩的坑：Gamma校正应该在色彩校正之后做，而不是之前。因为色彩校正是线性运算，如果在Gamma之后做，颜色会偏掉。我见过不少新手在这个顺序上栽跟头。
小技巧：如果你在做RAW域处理，建议在去马赛克之后、Gamma之前，把数据保存一份。这样后续做AI增强时，可以在线性空间里操作，避免Gamma带来的非线性失真。
好了，以上就是传统ISP管线的六个核心模块。每个模块都有它的物理意义和数学原理。你可能会觉得，这些模块看起来各自独立，但实际上它们之间是相互影响的——比如去噪做不好，去马赛克就会放大噪声；白平衡不准，色彩校正也会跟着偏。所以做ISP调优时，一定要有全局视角。