1. ISP概览与RAW域基础

各位同学，欢迎来到《高通ISP流水线核心模块与RAW域处理实战》的第一章。我是这门课的主讲，在图像传感器和ISP领域摸爬滚打了十几年。今天咱们先不急着调代码，先把地基打牢——搞清楚ISP在整个相机系统里到底扮演什么角色，以及RAW域数据为什么值得我们花大功夫去研究。

1.1 图像信号处理器(ISP)在相机系统中的位置与作用

先问大家一个问题：你按下手机快门的一瞬间，发生了什么？

光线穿过镜头，打在传感器上，传感器把光信号转成电信号，再量化成数字值。嗯，这一步只是拿到了最原始的“数字底片”。如果直接把这个数据存成图片，你会看到一片灰蒙蒙、偏色严重、满是噪点的东西。为什么？因为传感器本身有物理缺陷，它不知道什么是“正确的颜色”，什么是“正确的亮度”。

ISP就是干这个的——它把传感器送来的原始数据，处理成人眼看着舒服、色彩自然、细节清晰、噪点可控的最终图像。

我在一个项目中遇到过客户拿着某款国产传感器，说“你们ISP算法不行，拍出来偏绿”。我让他们把RAW数据导出来一看，传感器本身的G通道增益就比R/B高了8%。这不是ISP的问题，是传感器特性。但ISP必须去补偿这种偏差——这就是ISP存在的意义：把物理器件的“不完美”纠正回来。

ISP在相机系统中的位置，说白了就是传感器和最终图像之间的“翻译官+修图师”。

层级	组件	输出	说明
物理层	镜头 + 传感器	RAW数据	光信号→电信号→数字码值
处理层	ISP流水线	YUV/RGB图像	去噪、去马赛克、白平衡、色彩校正等
应用层	编码器 + 应用	JPEG/HEIF/视频流	压缩、存储、显示、传输

你想想看，如果ISP处理得不好，后面编码器再厉害也没用——垃圾进，垃圾出。所以做图像质量的人常说一句话：“图像质量的上限在传感器，下限在ISP”。

1.2 RAW图像格式详解

好，那RAW到底是什么？

RAW不是一种文件格式（虽然.DNG、.RAW这些扩展名很常见），它描述的是一种数据状态——传感器每个像素点输出的原始、未经过任何处理的数字值。

1.2.1 色彩滤波阵列(CFA)与Bayer模式

这里有个关键问题：传感器上的每个像素只能感知光的强度，不能感知颜色。那彩色照片是怎么来的？

答案是在每个像素前面盖一个微小的滤色片——只让特定波长的光通过。这就是色彩滤波阵列（CFA）。

最常见的CFA模式是Bayer模式，由布莱斯·拜耳在1976年发明。它的排列规律是：

• 50% 绿色（G）——人眼对绿色最敏感
• 25% 红色（R）
• 25% 蓝色（B）

典型的2×2单元：

R  G
G  B

为什么绿色多一倍？因为人眼的亮度感知主要依赖绿色通道。你想想看，如果R、G、B各占1/3，绿色信息不够，画面看起来就会偏暗、偏噪。这是拜耳当年做的大量视觉实验得出的结论，到今天依然是最主流的方案。

除了Bayer，还有哪些CFA模式？

CFA类型	排列特点	典型应用
Bayer RGGB	2×2单元，G占50%	绝大多数手机、相机
Bayer RCCC	R占25%，C(透明)占75%	车载、安防（弱光优先）
Quad Bayer	4×4单元，4个同色像素一组	高像素手机传感器（如48MP→12MP binning）
X-Trans	6×6单元，不规则排列	富士相机（减少摩尔纹）

不过说实话，市面上90%以上的消费级产品用的还是标准Bayer。咱们这门课也以Bayer为主线展开。

1.2.2 RAW域数据的特点

RAW数据有几个非常鲜明的特点，我列出来，大家对照着理解：

1. 线性响应：RAW值跟入射光强基本成正比（在传感器线性区内）。不像sRGB或JPEG那样做了gamma校正。
2. 高位深：通常是10bit、12bit、14bit，甚至16bit。而最终输出的8bit JPEG只有256个灰阶。
3. 单通道马赛克：每个像素只有一个颜色值（R/G/B之一），不是全彩。
4. 包含传感器噪声：读出噪声、光子散粒噪声、固定模式噪声（FPN）等，全都在RAW里。
5. 无色彩校正：没有白平衡、没有颜色矩阵、没有色调映射。

1.3 RAW域数据处理的特殊意义

为什么我们要花整整30节课来讲RAW域处理？直接在YUV域做不行吗？

我的回答是：在RAW域做处理，信息量最大、自由度最高、效果上限最高。

一旦数据从RAW转换到RGB或YUV，很多信息就永远丢失了：

• 线性关系被破坏（gamma、色调映射）
• 位深被压缩（12bit→8bit）
• 噪声分布被改变（去马赛克引入了空间相关性）

举个例子：降噪。在RAW域做降噪，噪声模型是相对简单的（主要是泊松-高斯混合模型）。但如果在YUV域做降噪，噪声已经被去马赛克、gamma、色彩校正等模块“搅和”过一遍了，变成了复杂的、空间相关的、非线性的噪声。这时候再降噪，要么效果差，要么损失细节。

我参与过的一个旗舰手机项目，早期方案是在YUV域做降噪，暗光下涂抹感很重。后来我们把降噪模块移到RAW域，配合传感器标定的噪声模型，同样的信噪比下细节保留提升了约15%。这就是RAW域处理的价值。

下面这张图展示了ISP流水线的典型架构，以及RAW域处理在整个流程中的位置：

1.4 本章小结

这一章我们做了三件事：

• 明确了ISP在相机系统中的位置——传感器和最终图像之间的核心处理引擎
• 理解了RAW数据的本质——线性、高位深、单通道马赛克、包含传感器噪声
• 建立了RAW域处理的优先级意识——越早处理，信息越完整，效果上限越高