传统ISP Pipeline详解：从RAW图到RGB图的经典流程
各位同学，今天我们来聊聊ISP Pipeline中最核心的一段旅程——从传感器出来的RAW图，怎么一步步变成我们肉眼看着舒服的RGB图。我做了这么多年图像处理，说实话，每次回头看这个流程，都觉得它像一门手艺活，既有数学的严谨，又有经验的调校。
核心观点：ISP Pipeline不是简单的流水线，而是一套环环相扣的补偿与增强机制。每个模块都在修正前一个模块留下的“后遗症”。
1. 黑电平校正：把“底噪”先减掉
传感器在没有光照的时候，其实也会输出一个非零的像素值。这个值就是黑电平，说白了就是传感器的“底噪”。我刚开始做ISP的时候，觉得这一步可有可无，直到有一次在暗光场景下发现整张图偏紫——查了半天，原来是黑电平没扣干净。
黑电平校正的数学表达很简单：
// 伪代码示例
pixel_out = max(pixel_in - black_level, 0);
// 其中 black_level 通常为 64 或 128（12-bit RAW）我的经验：不同通道的黑电平可能不一样。比如R通道和B通道的暗电流就有差异。我建议在产线上逐颗传感器标定，而不是用固定值。
2. 去马赛克：从“黑白格子”到“彩色世界”
RAW图其实是单通道的，每个像素只记录了R、G、B中的一种颜色。最常见的排列是Bayer格式——RGGB。去马赛克的任务，就是通过插值把缺失的两个颜色猜出来。
常用的插值方法有：
- 最近邻插值：最快，但锯齿严重。我基本不用。
- 双线性插值：简单，但边缘会模糊。
- 边缘导向插值：先判断边缘方向，再沿边缘插值。效果不错，我项目里常用。
- 基于深度学习的去马赛克：比如用CNN直接端到端恢复。效果好，但算力要求高。
⚠️ 避坑指南：我曾经在一个项目中用了简单的双线性插值，结果在文字区域出现了严重的彩色伪影（zebra pattern）。后来换成边缘导向插值，问题才解决。记住：去马赛克的质量直接影响后续所有模块。
3. 白平衡：让白色真的“白”
人眼有色彩恒常性——不管在日光灯下还是烛光下，我们看白纸都觉得是白的。但传感器没这个能力。白平衡就是模拟这个机制。
经典的做法是“灰度世界假设”：认为整张图的平均颜色应该是灰色的。于是：
// 灰度世界白平衡
R_gain = G_avg / R_avg;
B_gain = G_avg / B_avg;
R_out = R_in * R_gain;
B_out = B_in * B_gain;但这个方法有个坑——如果场景里大面积都是红色（比如夕阳），那整个画面就会偏蓝。我遇到过这种情况，后来改用“完美反射假设”（找图中最亮的点作为白点），效果就好多了。
关键点：白平衡的增益不要太大。我曾经见过R gain拉到2.5以上的情况，结果R通道噪声被放大得一塌糊涂。一般建议增益控制在1.0~2.0之间。
4. 去噪：在“清晰”和“干净”之间找平衡
去噪是ISP里最考验“手感”的模块。为什么？因为去噪太强，细节就没了；去噪太弱，画面又脏。我做了这么多年，依然觉得这是个“艺术活”。
常用的去噪方法：
| 方法 | 原理 | 优缺点 |
|---|---|---|
| 高斯滤波 | 邻域加权平均 | 简单，但会模糊边缘 |
| 双边滤波 | 考虑像素值差异的加权平均 | 保边效果好，但计算慢 |
| 非局部均值(NLM) | 在全图找相似块 | 效果好，但极慢 |
| BM3D | 3D变换域协同滤波 | 公认的经典，效果好 |
我的习惯：在移动端ISP上，我通常用双边滤波的快速近似版本。先降亮度噪声，再降色度噪声——因为人眼对色度噪声更敏感。你想想看，一张图如果亮度有点噪点，你可能还能接受；但如果颜色花花绿绿的，那基本就废了。
5. 色彩校正矩阵（CCM）：把颜色“掰正”
传感器的色彩响应和人眼不一样。比如索尼的IMX系列和三星的ISOCELL，拍出来的红色就不同。CCM就是一个3x3的矩阵，把传感器色彩空间映射到标准色彩空间（比如sRGB）。
// CCM 矩阵示例
[R'] [ 1.8 -0.5 -0.3] [R]
[G'] = [-0.2 1.4 -0.2] [G]
[B'] [-0.1 -0.3 1.4] [B]注意看，矩阵的对角线元素大于1，非对角线元素是负数。这意味着每个输出通道都要“借用”其他通道的信息来校正色偏。
⚠️ 我曾经踩过的坑：CCM的系数不能太大。如果非对角线元素的值超过0.5，很容易出现色块和噪声放大。我建议用24色卡标定，然后手动微调。
6. Gamma校正：让亮度“符合人眼”
人眼对暗部细节更敏感，对亮部不敏感。但传感器是线性的——亮度翻倍，像素值就翻倍。Gamma校正就是做一个非线性映射，让存储和显示的效率更高。
标准Gamma公式：
V_out = V_in ^ (1/2.2) // 对于sRGB说白了，就是把暗部拉开，把亮部压缩。你想想看，如果直接显示线性数据，暗部会黑成一团，什么都看不见。
注意：Gamma校正必须在色彩校正之后做。如果先做Gamma，再做CCM，矩阵运算会破坏非线性关系，导致颜色失真。这个顺序我见过有人搞反过，结果整张图颜色都不对。
7. 锐化：给图像“画龙点睛”
经过前面几轮处理，图像多少会有点模糊。锐化的目的就是增强边缘，让画面看起来更“锐利”。
最经典的方法是Unsharp Mask（USM）：
// USM 锐化
blur = GaussianBlur(image, sigma);
mask = image - blur;
sharpened = image + alpha * mask;其中alpha是锐化强度，一般取0.5~1.5。sigma控制边缘的尺度——sigma越大，锐化的边缘越粗。
我的建议：锐化不要过头。我见过有人把alpha拉到2.0，结果图像边缘出现了明显的“光晕”（halo artifact）。特别是人脸皮肤，锐化太强会显得很假。我一般控制在0.8左右，然后根据场景微调。
小结：ISP Pipeline的“串联”思维
你看，整个流程就像一条流水线——每个模块都在修正前一个模块的“副作用”。去马赛克带来了伪影，白平衡放大了噪声，去噪模糊了边缘，锐化又可能引入光晕。做ISP调优，说白了就是在这些矛盾中找平衡。
我个人习惯是：先保证每个模块的参数在合理范围内，再整体微调。不要一上来就追求极致，否则很容易陷入“调了这个，坏了那个”的死循环。