传统 ISP Pipeline 解析：从 RAW 到人眼可见

大家好，我是你们的老朋友。今天咱们来聊聊传统 ISP 里最核心的那几个模块。说实话，我入行那会儿，整个 ISP 流程就是这几板斧，现在 AI 来了，很多模块被颠覆了，但基础的东西你还是要懂。你想想看，不懂 RAW 域处理，你怎么理解 AI 降噪的输入？不懂 Demosaic，你怎么知道 AI 去马赛克到底在解决什么问题？

好，咱们直接进入正题。这一章，我会带着大家把 RAW 域处理、Demosaic、去噪、白平衡、Gamma 校正、色彩空间转换这几个环节，一个一个掰开揉碎了讲清楚。

1. RAW 域处理：一切的基础

说白了，RAW 域就是传感器直接输出的原始数据。它还没经过任何处理，是最“诚实”的数据。我习惯把 RAW 域处理比作“打地基”——地基没打好，后面盖什么楼都白搭。

RAW 域处理通常包括以下几个步骤：

• 黑电平校正：传感器在完全无光的情况下也会有微弱的输出，这叫黑电平。我们需要把这个底噪减掉。我记得有一次项目，黑电平没校准好，整个画面偏紫，折腾了两天才找到原因。
• 线性化：有些传感器在低光下响应是非线性的，需要做线性化处理。这一步在高端相机里比较常见。
• 坏点校正：传感器上总会有几个“坏像素”，要么一直亮，要么一直暗。我们需要用周围像素的值把它们替换掉。我建议用中值滤波来做，效果比较稳健。

2. Demosaic：从黑白到彩色

传感器上的每个像素只能感知亮度，不能感知颜色。那彩色是怎么来的？靠的是 Bayer 模式——每个像素上覆盖一个滤光片，只让红、绿或蓝光通过。Demosaic 的任务，就是从这种“马赛克”数据中恢复出每个像素的 RGB 值。

常见的 Demosaic 算法有：

• 最近邻插值：最简单，但效果最差，边缘会有明显的锯齿。
• 双线性插值：用周围像素的平均值来填充，效果稍好，但边缘还是模糊。
• 方向自适应插值：根据边缘方向选择插值方向，效果明显提升。我个人比较推荐这种方法，性价比很高。
• 基于深度学习的 Demosaic：这是目前最前沿的方法，效果最好，但计算量也最大。我在一个手机项目里用过，效果确实惊艳，但功耗也让人头疼。

3. 去噪：画质的守护神

去噪是 ISP 里最核心的模块之一。噪声主要来自传感器本身，尤其是在低光环境下。去噪做得好不好，直接决定了画面的纯净度。

去噪可以在 RAW 域做，也可以在 RGB 域做。我个人的经验是：RAW 域去噪效果更好，因为噪声在 RAW 域里是独立的，没有经过任何处理，更容易建模。

常见的去噪方法：

• 空域去噪：比如高斯滤波、双边滤波、非局部均值去噪。双边滤波在保边去噪方面表现不错，我经常用它。
• 变换域去噪：比如小波去噪、BM3D。BM3D 效果很好，但速度慢，适合离线处理。
• 深度学习去噪：比如 DnCNN、FFDNet。效果最好，但需要大量训练数据和算力。

4. 白平衡：让白色回归白色

你有没有发现，在日光灯下拍的照片会偏绿，在白炽灯下会偏黄？这是因为不同光源的色温不同。白平衡的任务，就是校正这种色偏，让白色物体在任何光源下看起来都是白的。

白平衡的核心是估计光源的色温，然后调整 R、G、B 三个通道的增益。常用的方法有：

• 灰度世界假设：假设场景中所有颜色的平均值是灰色，然后据此调整增益。这个方法简单，但容易受大块纯色物体影响。
• 完美反射假设：假设场景中最亮的点就是白色，然后据此调整增益。这个方法在大多数场景下效果不错。
• 基于学习的白平衡：用深度学习模型来估计色温，效果最好，但需要大量标注数据。

5. Gamma 校正：适配人眼和显示设备

人眼对亮度的感知是非线性的——对暗部变化更敏感，对亮部变化不敏感。而显示设备的亮度响应也是非线性的。Gamma 校正的作用，就是让图像在显示设备上看起来更自然。

Gamma 校正的公式很简单：V_out = V_in ^ (1/γ)。标准的 γ 值是 2.2，但不同设备可能不同。

// 一个简单的 Gamma 校正函数
float gamma_correct(float value, float gamma) {
    return powf(value, 1.0f / gamma);
}

// 应用 Gamma 校正到整个图像
for (int i = 0; i < width * height; i++) {
    image[i].r = gamma_correct(image[i].r, 2.2f);
    image[i].g = gamma_correct(image[i].g, 2.2f);
    image[i].b = gamma_correct(image[i].b, 2.2f);
}

6. 色彩空间转换：从传感器到标准空间

传感器的色彩空间是设备相关的，不同传感器的色彩空间不同。为了让图像在不同设备上显示一致，我们需要把它转换到标准色彩空间，比如 sRGB、Adobe RGB 或 DCI-P3。

色彩空间转换通常是一个 3x3 的矩阵乘法：

// 从传感器色彩空间到 sRGB 的转换矩阵
float matrix[3][3] = {
    {1.0f, 0.0f, 0.0f},
    {0.0f, 1.0f, 0.0f},
    {0.0f, 0.0f, 1.0f}
};

// 应用色彩空间转换
for (int i = 0; i < width * height; i++) {
    float r = image[i].r;
    float g = image[i].g;
    float b = image[i].b;
    image[i].r = matrix[0][0] * r + matrix[0][1] * g + matrix[0][2] * b;
    image[i].g = matrix[1][0] * r + matrix[1][1] * g + matrix[1][2] * b;
    image[i].b = matrix[2][0] * r + matrix[2][1] * g + matrix[2][2] * b;
}

这个矩阵怎么来的？通常是通过标定得到的。你拿一个标准色卡，在传感器下拍一张，然后跟标准值对比，就能算出这个矩阵。我在项目中做过好几次标定，说实话，挺枯燥的，但这一步不能省。