图像基础与色彩科学：RGB、YUV、CMOS传感器原理、色彩空间转换与Gamma校正

ISP（Image Signal Processor）3A算法（AE自动曝光、AF自动对焦、AWB自动白平衡）的输入是CMOS传感器输出的RAW域数据，而输出则是用户最终看到的、符合人眼视觉感知的YUV或RGB图像。因此，理解图像从光子到数字信号的物理链路、色彩空间的数学表达以及人眼视觉的非线性特性，是掌握3A算法的基础。本章将系统梳理RGB与YUV色彩模型的本质区别、CMOS传感器的光电转换与噪声特性、色彩空间转换的线性代数方法，以及Gamma校正的生理学与工程学动因，为后续AE、AWB算法的参数计算提供理论支撑。

上图展示了ISP处理链路中色彩科学相关模块的相互关系。CMOS传感器输出的RAW数据是3A算法统计信息的源头，经过色彩空间转换和Gamma校正后形成最终输出。值得注意的是，AWB（自动白平衡）的增益计算通常在RAW域或线性RGB域完成，而Gamma校正则作用于非线性域，两者顺序不可颠倒，否则会导致色彩失真。

核心原理：RGB与YUV色彩模型的本质差异

RGB（红绿蓝）色彩模型基于人眼视网膜中三种视锥细胞（L、M、S）的感光特性，通过加法混色原理再现颜色。在数字成像中，RGB通常以8bit或10bit量化，每个像素由三个通道组成。然而，RGB模型存在两个显著问题：一是三个通道高度相关，对亮度变化敏感度不一致；二是人眼对亮度（Luminance）的分辨率远高于对色度（Chrominance）的分辨率，RGB格式无法有效利用这一视觉特性。

YUV色彩模型（及其变体YCbCr、YPbPr）将图像分解为一个亮度分量Y和两个色度分量U（蓝色差）与V（红色差）。其数学转换关系基于以下线性变换：

Y  =  0.299R + 0.587G + 0.114B
U  = -0.169R - 0.331G + 0.500B + 128 (8bit)
V  =  0.500R - 0.419G - 0.081B + 128 (8bit)

这种变换的核心优势在于：人眼对Y分量的空间分辨率敏感，对U/V分量的敏感度较低，因此可以对色度通道进行下采样（如4:2:0），在几乎不影响主观画质的前提下减少一半数据量。对于ISP 3A算法而言，AE（自动曝光）主要统计Y分量的直方图，AWB则利用U/V分量的零均值特性来估计环境色温。

CMOS传感器原理：从光子到数字信号

CMOS图像传感器（CIS）的核心是光电二极管阵列，每个像素包含一个感光二极管和多个晶体管。其工作流程可分为四个阶段：

1. 光电转换：入射光子被硅材料吸收，产生电子-空穴对，光生电子在PN结电场作用下被收集在二极管势阱中。光电转换效率（QE）通常为30%-70%，受波长影响显著。
2. 电荷积累：曝光时间内，势阱中积累的电子数与入射光强成正比。满阱容量（FWC）决定最大可存储电荷量，典型值在10k-100k e-之间。
3. 电荷转移与读出：通过行选通和列选通，将每个像素的电荷转换为电压信号。4T像素结构（含传输管、复位管、源跟随器、行选管）可实现相关双采样（CDS），有效消除复位噪声。
4. 模数转换：列级ADC将模拟电压量化为数字码值。12bit ADC的量化步长为Vref/4096，典型满量程电压为1.0V-1.8V。

传感器输出的RAW数据是线性光强信号，但存在两个关键非理想因素：黑电平偏移（暗电流导致的基底值，通常为ADC码值的2%-5%）和光响应非均匀性（PRNU，各像素对相同光强的响应差异）。3A算法中的AE统计必须扣除黑电平，否则低光场景下曝光计算会产生显著偏差。

噪声类型	来源	与信号关系	对3A影响
光子散粒噪声	光子到达的随机性	√信号（泊松分布）	低光下AE统计波动
读出噪声	源跟随器、ADC量化	常数（与信号无关）	限制暗部信噪比
暗电流噪声	热激发产生电子	随曝光时间线性增加	长曝光时黑电平漂移
固定模式噪声(FPN)	像素工艺失配	常数（空间固定）	AWB灰点检测偏差

色彩空间转换：线性代数与白平衡的数学基础

色彩空间转换本质上是三维向量空间的线性变换。从RAW域的Bayer格式到sRGB输出，需要经过两步：去马赛克（插值恢复每个像素的RGB三通道值）和色彩校正矩阵（CCM）。CCM是一个3x3矩阵，用于将传感器原生色彩空间映射到标准色彩空间（如sRGB或BT.709）：

[R_sRGB]   [ 1.92  -0.53  -0.39 ] [R_RAW]
[G_sRGB] = [-0.11   1.29  -0.18 ] [G_RAW]
[B_sRGB]   [ 0.03  -0.22   1.19 ] [B_RAW]

AWB算法在RAW域或线性RGB域中执行增益调整，其数学本质是对角矩阵变换：

[R']   [R_gain  0      0    ] [R]
[G'] = [0       G_gain  0    ] [G]
[B']   [0       0      B_gain] [B]

其中R_gain、B_gain是AWB算法输出的关键参数，G_gain通常固定为1或用于亮度归一化。值得注意的是，CCM和AWB增益矩阵的乘法顺序不可交换，因为矩阵乘法不满足交换律。在ISP pipeline中，AWB增益通常先于CCM执行，这样可以在传感器原生色彩空间中校正色偏，避免放大CCM的串扰误差。

Gamma校正：人眼视觉特性与显示设备的桥梁

Gamma校正的引入基于两个事实：第一，人眼对暗部亮度变化的分辨率高于亮部，即视觉响应近似对数关系；第二，CRT和LCD显示器的亮度响应是幂函数关系（输出亮度 ∝ 输入电压的γ次方，典型γ=2.2）。因此，在编码端需要对线性光强信号进行γ=1/2.2的幂次变换，使编码后的信号在显示端能还原出感知均匀的亮度梯度。

在ISP中，Gamma校正通常通过查找表（LUT）实现，而非实时计算幂函数。一个典型的12bit输入、10bit输出的Gamma LUT包含4096个条目。Gamma曲线对3A算法有直接影响：AE算法统计的Y分量直方图在Gamma校正前后分布形态差异显著。线性域中，暗部像素占比可能很高，但经过Gamma后，这些像素被映射到更宽的码值范围，使得AE的权重分配需要重新设计。

案例拆解：低光场景下AWB色偏问题分析

背景与约束：某手机摄像头在夜间路灯场景下拍摄，画面出现明显偏黄现象。传感器为IMX586（4800万像素，1/2英寸），ISP采用标准3A流程。初始AWB增益为R_gain=1.8，B_gain=1.4，但输出图像色温估计为3500K，实际场景色温约4000K（混合光源：高压钠灯+月光）。

现象与数据：RAW域统计显示，R通道平均码值=420，G通道=380，B通道=290（12bit ADC，黑电平64）。若按灰色世界假设，R_gain应=380/420≈0.90，B_gain应=380/290≈1.31。但实际使用的增益明显偏高，说明算法被高色温区域（如天空反射光）干扰。

分析过程：进一步检查发现，画面中存在大面积暗部区域（阴影部分），这些区域的B通道信噪比极低（SNR<10dB），噪声导致B通道统计值偏大，进而拉低了B_gain的计算值。同时，路灯区域的R通道过曝（码值接近饱和），使得R通道均值被抬高。

解决方案：采用加权灰点检测算法，仅选择亮度在中间范围（Y值在80-180之间）且饱和度较低的像素参与统计。同时引入色温先验约束，将R_gain限制在1.2-2.5范围内，B_gain限制在1.0-2.0范围内。修改后，R_gain=1.65，B_gain=1.52，色温估计值修正为3900K，主观画质明显改善。

复盘经验：AWB算法不能仅依赖简单的灰色世界假设，必须结合场景亮度分布和噪声模型。低光场景下，暗部像素的统计权重应降低，或者采用基于置信度的加权方案。此外，AE和AWB存在耦合关系：AE的曝光时间变化会改变各通道的信噪比，进而影响AWB统计的可靠性。

常见误区与总结复盘