1. 3A算法全景概览：ISP与成像链路
大家好，欢迎来到这门课。我是你们的老朋友，一个在图像信号处理领域摸爬滚打了十几年的工程师。今天咱们先不急着写代码，也不调参数，先聊聊全景。
你想想看，一部手机或者一台相机，按下快门的那一瞬间，背后到底发生了什么？光线进来，传感器感光，然后呢？出来的就是一张漂亮的照片吗？
当然不是。传感器出来的原始数据，说白了就是一堆电压值，灰蒙蒙的，根本没法看。真正让这堆数据变成你朋友圈里那张“大片”的，是ISP——图像信号处理器。
核心认知：ISP是相机成像的“暗房”，而3A算法（自动对焦AF、自动曝光AE、自动白平衡AWB）是ISP的大脑。没有3A，ISP就是个盲人摸象的工匠。
1.1 什么是ISP？它在成像链路里扮演什么角色？
ISP，全称Image Signal Processor。你可以把它理解成一个专门处理图像数据的微型计算机。它接收来自CMOS或CCD传感器的原始RAW数据，然后经过一系列复杂的算法处理，最终输出一张我们肉眼看着舒服的RGB图像或YUV视频流。
我刚开始做嵌入式摄像头驱动时，总觉得ISP就是个黑盒子。后来自己动手调过几个平台的Pipeline，才真正明白它的分量。
一个典型的ISP处理链路，大致长这样：
- 传感器输出RAW数据 —— 通常是Bayer格式，每个像素只记录一种颜色（R、G或B）。
- 黑电平校正（BLC） —— 去掉传感器本身的暗电流噪声。
- 镜头阴影校正（LSC） —— 补偿镜头边缘亮度衰减。
- 坏点校正（DPC） —— 修复传感器上的死点或亮点。
- 去马赛克（Demosaic） —— 把Bayer数据插值成完整的RGB图像。
- 白平衡（AWB） —— 校正色温，让白色物体在任何光线下都呈现白色。
- 颜色校正矩阵（CCM） —— 把传感器色彩空间映射到标准色彩空间。
- Gamma校正 —— 调整亮度曲线，适配显示设备。
- 自动曝光（AE）与自动对焦（AF）控制 —— 调整曝光时间和焦距。
- 输出YUV或JPEG —— 最终成品。
你看，3A算法（AF、AE、AWB）就嵌在这个链路里，而且是闭环控制的关键环节。
我的经验：很多新手容易把ISP和3A割裂开看。其实3A是ISP的“眼睛”和“手”。AE决定曝光量，AF决定清晰度，AWB决定色彩准确性。它们三个配合不好，后面的CCM、Gamma调得再好也没用。
1.2 3A算法在成像链路中的具体位置
咱们把上面那个链路图简化一下，聚焦到3A的位置。我画了一张图，帮你直观理解。
从这张图你能看到，3A算法位于ISP链路的中间偏前位置。它不直接处理像素，而是通过分析图像统计信息，反过来控制传感器和ISP前端的参数。
举个例子：AE模块发现画面太暗了，它会告诉传感器“把曝光时间加长一点”，或者“把模拟增益提高一点”。AF模块发现画面模糊，它会驱动镜头马达前后移动，找到最清晰的位置。
避坑指南：我曾经在一个项目中，把AE和AWB的反馈环路设计成了互相干扰。AE调整增益导致亮度变化，AWB误以为色温变了也跟着调整，结果画面颜色来回跳。这就是典型的“3A打架”。后面我会专门讲怎么解耦。
1.3 3A算法的核心目标
咱们一个一个说。
自动对焦（AF）
目标就一个：让画面主体最清晰。说白了，就是找到镜头的最佳焦距位置。
- 对比度检测AF：通过分析图像边缘的锐利度，找到对比度最大的位置。我早期做手机摄像头时，用的就是这种，简单但慢。
- 相位检测AF（PDAF）：传感器上有专门的相位检测像素，能直接算出焦点偏移方向和距离。快，准，但硬件成本高。
- 激光/ToF辅助AF：主动测距，适合暗光环境。
自动曝光（AE）
目标：让画面亮度适中，不过曝也不欠曝。同时要保证细节保留。
- 曝光三角：光圈、快门、ISO。三者平衡。
- 测光模式：全局测光、中央重点测光、点测光。不同场景选不同模式。
- AE策略：我习惯把AE分成“亮度优先”和“细节优先”两种模式。拍风景时用亮度优先，拍人像时用细节优先（防止人脸过曝）。
自动白平衡（AWB）
目标：让白色物体在任何色温下都呈现白色。消除色偏。
- 色温估计：通过分析图像中R/G和B/G的比值，估算当前光源色温。
- 灰世界假设：假设场景中所有颜色的平均值是灰色。这个假设在大多数自然场景下成立，但遇到纯色场景（比如一片红墙）就会翻车。
- 色温曲线：不同传感器有不同的色温响应曲线，需要标定。
一句话总结：AF管清晰度，AE管亮度，AWB管色彩。三个目标看似独立，实则相互耦合。
1.4 3A算法的相互关系——为什么它们会“打架”？
这是本章的重点，也是很多工程师容易忽略的地方。
你想想看：
- AE调整曝光时间，会影响画面亮度。亮度变了，AWB统计的色温信息也会变（因为暗部噪声比例不同）。
- AF调整焦距，画面锐度变化，会影响AE的对比度统计（有些AE算法依赖对比度判断曝光是否合适）。
- AWB调整色彩增益，会影响AE的亮度统计（因为不同颜色通道的亮度权重不同）。
我见过一个真实案例：某款行车记录仪，在夜间场景下，AE因为画面太暗把增益拉得很高，结果AWB误把噪声当成颜色信息，导致画面偏紫。后来我们加了“低照度AWB锁定”策略，才解决这个问题。
下面这个表格，帮你理清它们之间的耦合关系：
| 耦合对 | 影响方向 | 典型问题 | 解耦思路 |
|---|---|---|---|
| AE → AWB | 亮度变化影响色温统计 | 低照度下AWB偏色 | 低照度时锁定AWB或降低AWB响应速度 |
| AF → AE | 对焦变化影响画面亮度统计 | 对焦过程中AE闪烁 | AF动作期间冻结AE统计 |
| AWB → AE | 色彩增益变化影响亮度 | AWB切换时亮度跳变 | AWB增益平滑过渡，AE做亮度补偿 |
| AE → AF | 曝光不足导致AF对比度低 | 暗光下AF拉风箱 | AE优先保证足够亮度再启动AF |
你看，这就像一个三角关系，牵一发而动全身。所以，好的3A算法设计，不是把三个模块各自做到极致，而是让它们协同工作。
我的习惯：在设计3A系统时，我会先定一个“主控节奏”。比如，AE的更新频率是30fps，AWB是15fps，AF是10fps。让快的模块等慢的模块，避免冲突。另外，我会加一个“状态机”，区分正常场景、低照度场景、高动态场景，不同场景下3A的优先级不同。
1.5 本章小结
好了，第一讲的内容就这些。咱们回顾一下：
- ISP是图像信号处理器，负责把RAW数据变成好看的图像。
- 3A算法（AF、AE、AWB）位于ISP链路的中前段，通过反馈环路控制传感器和ISP参数。
- AF管清晰度，AE管亮度，AWB管色彩。
- 三个算法相互耦合，设计时必须考虑协同和优先级。