2. 图像处理基础

要真正理解3A算法（AE自动曝光、AF自动对焦、AWB自动白平衡）为什么必须放在ISP流水线中协同工作，先要建立四个基础认知：图像在机器里以什么形式存在（色彩空间）、我们调节的“明暗”到底是什么（亮度与对比度）、光如何变成电信号（图像传感器原理），以及3A在整条ISP流水线中处于哪个环节、承担什么职责。本节把这四点串成一条从“光子”到“可用图像”的完整链路。

一、色彩空间：从传感器原始数据到可显示图像

图像传感器输出的并不是我们看到的RGB图像，而是每个像素只有一种颜色信息的Bayer格式原始数据（RAW）。RAW经过黑电平校正、去马赛克（Demosaic）、白平衡、色彩校正矩阵（CCM）、伽马等步骤，才变成sRGB图像。理解色彩空间的关键在于：同一组物理光强，在不同色彩空间下的数值完全不同，而3A算法中的AWB正是在RAW域或接近RAW的线性域进行增益调整。

• RAW / Bayer：线性响应，未做白平衡，保留最多原始信息，是AWB和AE统计的主要数据源。
• 线性RGB：去马赛克后的线性空间，仍与光强成正比，适合做曝光统计。
• sRGB / Rec.709：经过伽马编码，符合人眼感知，用于显示与编码输出。
• YUV / YCbCr：亮度Y与色度UV分离，AF常利用Y通道做清晰度评价，AE也常用Y做亮度统计。

二、亮度与对比度：AE和AF的“度量尺”

亮度（Luminance）反映图像整体明暗，AE的目标就是把画面平均亮度或主体亮度拉到目标值（如18%灰对应的Y值）。对比度（Contrast）反映明暗差异，AF正是通过寻找对比度最大（或高频分量最强）的位置来判断对焦是否准确。二者都依赖Y通道统计，但目标相反：AE追求亮度稳定，AF追求局部对比度峰值。

三、图像传感器原理：3A的物理起点

CMOS传感器每个像素把入射光子转换为电子，再经模拟增益和ADC变成数字码值。曝光量由三个物理量共同决定：光圈（F-number）、曝光时间（快门）、模拟/数字增益（ISO）。这就是曝光三角。AE调节的正是这三者的组合，而AF调节的是镜头对焦马达位置，AWB调节的是R/B通道数字增益。

曝光量 E ∝ (1/F²) × T_exp × Gain
其中：
  F      : 光圈值，越小进光越多
  T_exp  : 曝光时间（秒）
  Gain   : 模拟增益 + 数字增益（ISO相关）

AE目标：使 Y_avg ≈ Y_target（如 18% 灰对应码值）
AF目标：使对焦窗口内 高频能量 最大
AWB目标：使灰点区域 R_gain×R ≈ G ≈ B_gain×B

传感器还决定了动态范围、噪声底和饱和点。高ISO会放大噪声，影响AF在暗光下的对比度判断，也会让AWB统计不稳定。因此3A算法必须知道当前增益和曝光时间，才能做出正确决策。

四、ISP流水线中3A算法的位置与作用

ISP流水线是一条从RAW到YUV/RGB的固定处理链，3A算法并不是某一级滤波器，而是横跨多个环节的闭环控制系统：统计模块从流水线中抽取数据，算法模块计算新参数，再写回传感器和ISP寄存器，形成“统计—决策—执行”的反馈环。

从图中可以看到，3A并不是流水线中的某一级，而是“旁路统计 + 闭环回写”的控制系统。AE根据亮度统计调整传感器曝光时间和增益；AF根据对焦窗口的高频能量驱动镜头马达；AWB根据灰点统计调整R/B通道增益。三者共享同一帧数据，但目标不同，因此需要协同调度，避免互相干扰。

五、案例与常见误区

假设一个室内逆光场景：背景窗户很亮，人脸偏暗。AE若按全画面平均亮度统计，会把整体压暗，导致人脸更黑；正确做法是使用人脸ROI加权或中心重点测光。此时AF若在对焦窗口内遇到低对比度区域（如白墙），可能反复拉风箱；AWB若把窗户的高色温光误判为白点，会导致人脸偏蓝。这说明3A必须结合场景语义和分区统计，而不是单一全局指标。

• 误区一：认为AE只调曝光时间。实际上光圈、快门、增益三者需按场景权衡，暗光下优先开大光圈和增益，避免运动模糊。
• 误区二：AF只看整幅图像对比度。实际应限定对焦窗口ROI，否则背景高对比会抢走焦点。
• 误区三：AWB统计区域越大越好。应排除高饱和色块和过曝区域，优先选取接近灰点的像素。

掌握色彩空间、亮度对比度、传感器曝光三角和ISP流水线结构后，就能理解3A算法的本质：它们是建立在物理成像模型之上的闭环控制器，统计数据的质量、施加增益的位置、以及三者之间的调度策略，共同决定了最终图像的曝光是否准确、对焦是否清晰、色彩是否自然。