4、ISP关键模块深入：自动曝光（AE）、自动对焦（AF）、自动白平衡（AWB）的原理与算法基础

自动曝光（AE）、自动对焦（AF）与自动白平衡（AWB）是ISP（图像信号处理器）链路中最核心的三大自动控制模块，它们共同决定了摄像头输出的基础画质。在AI与ISP协同调优的背景下，这三个模块不仅需要完成传统的“正确曝光、清晰对焦、还原色彩”的任务，更承担着为下游AI视觉算法（如人脸识别、目标检测、语义分割）提供高质量、高一致性输入的关键职责。本章将深入剖析AE、AF、AWB的物理原理、核心算法框架、工程实现方法，并结合AI协同场景分析其调优策略与常见误区。

4.1 自动曝光（AE）原理与算法基础

4.1.1 核心原理：从光到数字的曝光控制

自动曝光的本质是控制图像传感器接收的光能量，使其输出图像的亮度分布落在人眼或算法期望的动态范围内。曝光量由三个物理参数共同决定：曝光时间（Shutter Speed）、模拟增益（Analog Gain）和光圈（Aperture）。在移动端摄像头中，光圈通常固定，因此AE主要调节曝光时间和增益。曝光时间决定了传感器感光像素的电荷积累时长，增益则对电荷信号进行放大。曝光量E与这三个参数的关系可近似表示为：

E ∝ (曝光时间 × 模拟增益 × 光圈面积) / 帧率

AE算法的目标是通过调整上述参数，使图像的统计特征（如平均亮度、直方图分布）逼近目标值。传统AE采用“亮度均值+权重区域”的策略，而现代AI协同AE则引入场景识别和ROI（感兴趣区域）权重动态调整。

4.1.2 判断方法与操作流程：AE统计与收敛策略

AE的工程实现通常包含以下步骤：

1. 统计采集：ISP从RAW域或RGB域图像中计算亮度直方图、分块平均亮度（如16x16网格）。
2. 权重分配：根据场景模式（人像、风景、夜景）或AI检测结果，为不同区域分配权重。例如人脸区域权重可提升至普通区域的3-5倍。
3. 目标亮度计算：将加权平均亮度与目标亮度（通常为18%灰对应的数字值）比较，计算误差。
4. 参数调整：通过PID控制器或查表法调整曝光时间和增益。调整顺序一般为：优先调整曝光时间（不引入噪声），当曝光时间达到上限（如1/30s）后再增加增益。
5. 收敛判断：当亮度误差小于阈值（如±5%）且连续多帧稳定时，判定AE收敛。

4.1.3 案例拆解：逆光场景下的AE调优

场景背景：在户外逆光环境下，背景天空亮度约8000lux，人脸区域亮度仅50lux，动态范围超过120dB，远超传感器单帧能力。

初始现象：默认AE按全局平均亮度计算，导致人脸严重欠曝（亮度值仅20/255），背景过曝（亮度值250/255）。

分析过程：传统AE的全局平均策略失效，需要引入ROI权重。通过AI人脸检测模块输出人脸框坐标，将人脸区域权重设为10，背景区域权重设为0.1。重新计算加权平均亮度后，AE将曝光时间从1/1000s调整为1/250s，增益从1x提升至2x。

操作步骤：

1. 在ISP驱动中注册AI检测回调，获取人脸ROI坐标。
2. 修改AE统计权重表，将人脸区域权重提升至10。
3. 设置AE目标亮度为180（针对人脸优化）。
4. 启用多帧HDR辅助（若硬件支持），融合短曝光帧（保留背景细节）和长曝光帧（提亮人脸）。

结果对比：调优后人脸亮度提升至160/255，背景亮度降至220/255，人脸可辨识度显著提升。代价是背景轻微过曝，但AI人脸识别置信度从62%提升至95%。

复盘经验：AI协同AE的核心在于“知道哪里重要”，而非单纯追求全局亮度均匀。ROI权重需要根据算法任务动态调整，例如人脸识别时人脸权重高，车牌识别时车牌区域权重高。

4.1.4 常见误区与总结

• 误区一：目标亮度固定为128。不同场景和算法任务需要不同目标亮度，如人脸识别需要较亮的人脸区域，而夜景模式需要保留暗部细节。
• 误区二：增益调整无限制。过高增益会放大噪声，影响AI算法精度。建议设置增益上限（如8x），超过后优先降低帧率或启用多帧降噪。
• 误区三：忽略AE与AWB的耦合。曝光变化会影响色温估计，AE收敛后需触发AWB重新统计。

4.2 自动对焦（AF）原理与算法基础

4.2.1 核心原理：对比度检测与相位检测

自动对焦的目标是调整镜头位置，使被摄主体在传感器上成像最清晰。主流AF方案分为两类：对比度检测（CDAF）和相位检测（PDAF）。CDAF通过搜索镜头位置，寻找图像对比度（如拉普拉斯能量、Tenengrad梯度）最大的点；PDAF则通过传感器上的掩蔽像素对，直接计算相位差，从而估算离焦方向和距离。现代摄像头多采用混合AF：先用PDAF快速逼近合焦位置，再用CDAF精细微调。

4.2.2 判断方法与操作流程：AF搜索策略

AF的典型工作流程如下：

1. 对焦区域选择：根据AI检测结果或用户点击，确定对焦ROI。
2. 粗搜索：PDAF计算相位差，驱动镜头向合焦方向移动较大步长（如全行程的10%）。
3. 精搜索：在粗搜索附近，以较小步长（如全行程的1%）扫描，计算对比度曲线。
4. 峰值确认：采用爬山算法找到对比度峰值，并确认峰值两侧均有下降趋势，避免误判。
5. 合焦锁定：输出镜头位置，并进入跟踪模式（若主体移动）。

4.2.3 案例拆解：运动物体跟踪对焦

场景背景：拍摄奔跑的运动员，主体距离从5m变化至2m，速度约3m/s。

初始现象：使用单次AF，主体移动后画面模糊，AF重新搜索耗时约300ms，导致关键瞬间丢失。

分析过程：需要连续AF（CAF）模式。AI检测模块持续输出主体位置和运动速度，AF算法根据运动预测提前调整镜头位置。

操作步骤：

1. 启用AI主体检测，每帧输出主体边界框和置信度。
2. 计算主体在图像平面上的位移速度（像素/帧），转换为镜头位置变化速率。
3. 采用卡尔曼滤波预测下一帧镜头位置，提前驱动马达。
4. 每3帧执行一次PDAF校验，修正预测误差。

结果对比：跟踪AF下，主体清晰帧率从40%提升至92%，对焦延迟降低至50ms以内。

风险与代价：预测错误时可能导致画面短暂模糊，需设置预测置信度阈值，低置信度时回退到常规搜索。

4.2.4 常见误区与总结

• 误区一：对焦速度越快越好。过快的镜头移动会产生“呼吸效应”，影响视频稳定性。需平衡速度与平滑度。
• 误区二：忽略温度影响。镜头马达的机械特性随温度变化，需在ISP中做温度补偿。
• 误区三：AF与AE独立运行。对焦过程中图像模糊会影响AE统计，建议在AF搜索期间暂停AE更新或使用低通滤波。

4.3 自动白平衡（AWB）原理与算法基础

4.3.1 核心原理：色温估计与色彩校正

自动白平衡的目标是消除光源色温对物体颜色的影响，使白色物体在任何光照下都呈现为白色。其核心是估计当前光源的色温（或色度坐标），然后计算R、G、B通道的增益。经典算法包括灰度世界假设（认为场景平均色度为灰色）、完美反射假设（认为场景中最亮的点为白色）以及基于色温曲线的多项式回归法。现代AWB结合AI场景识别，可区分室内暖光、户外日光、荧光灯等不同光源。

4.3.2 判断方法与操作流程：AWB统计与增益计算

AWB的工程实现流程：

1. 统计采集：在RAW域将图像分为MxN块，计算每块的R/G、B/G比值。
2. 有效区域筛选：剔除过暗（噪声大）、过曝（饱和）和低饱和（灰色）区域。
3. 色温估计：将有效区域的R/G、B/G比值映射到色温曲线（如普朗克轨迹）上，估计光源色温。
4. 增益计算：根据估计色温，查表或计算R、B通道增益（G通道通常固定为1）。
5. 平滑更新：为防止增益突变，采用时间滤波（如IIR滤波器）平滑增益变化。

// AWB增益计算伪代码
float estimate_CCT(float Rg, float Bg) {
    // 通过查表或多项式拟合，将Rg/Bg映射到色温
    return interpolate_CCT_table(Rg, Bg);
}
void calc_AWB_gain(float CCT, float* R_gain, float* B_gain) {
    // 在标准光源下，根据色温查表得到目标Rg/Bg
    float target_Rg = get_target_Rg(CCT);
    float target_Bg = get_target_Bg(CCT);
    *R_gain = target_Rg / current_Rg;
    *B_gain = target_Bg / current_Bg;
}

4.3.3 案例拆解：混合光源场景下的AWB校正

场景背景：室内会议室，主光源为4000K荧光灯，窗户透入5500K日光，画面中同时存在两种色温区域。

初始现象：全局AWB估计色温为4500K，导致靠近窗户的区域偏蓝，靠近灯光区域偏黄。

分析过程：单一色温无法覆盖混合光源。需要区域AWB或AI辅助的局部校正。

操作步骤：

1. AI场景分割模块将画面分为“窗户区域”和“室内区域”。
2. 分别对两个区域进行AWB统计，估计各自色温（窗户区域5500K，室内区域4000K）。
3. 在ISP中启用区域增益控制，为不同区域应用不同的R/B增益。
4. 在区域边界处做渐变过渡，避免色温突变。

结果对比：区域AWB后，两个区域的白色物体均呈现中性色，色彩还原准确度提升。代价是ISP硬件需支持区域增益，且AI分割增加约2ms延迟。

复盘经验：混合光源是AWB的经典难题，AI分割提供了有效的解决路径。但在硬件不支持区域增益时，可优先保证主体区域（如人脸）的色温准确。

4.3.4 常见误区与总结

• 误区一：AWB在RGB域进行。应在RAW域（去马赛克前）进行统计，避免颜色插值引入误差。
• 误区二：忽略曝光影响。过曝区域R/G、B/G比值失真，需在统计时剔除。
• 误区三：增益更新过快。在场景切换时，AWB增益突变会导致颜色闪烁，需设置合理的滤波系数。