硬件通路基础概念：ISP流水线简介，3A算法在ISP中的位置，硬件与软件的分工边界
各位好，我是老张。今天咱们聊聊ISP流水线。很多刚入行的兄弟觉得ISP就是个黑盒子——图像进去，好看的图出来。但做3A算法部署，你必须把这个盒子拆开看。
ISP，全称Image Signal Processor。它干的活说白了就一件：把CMOS传感器吐出来的原始RAW数据，变成人眼看着舒服的RGB或YUV图像。这个过程涉及几十个处理模块，每个模块都可能影响3A算法的效果。
ISP流水线的典型架构
我习惯把ISP流水线分成三大段：前端预处理、中间核心处理、后端输出处理。下面这张图能帮你快速建立整体认知。
你看，3A算法不是独立存在的。AE（自动曝光）的统计信息从前端提取，AWB（自动白平衡）的增益要写回前端，AF（自动对焦）的评价指标却要从后端拿。这种跨模块的数据依赖，是部署时最头疼的地方。
3A算法在ISP中的具体位置
咱们逐个拆解。先说AE。
AE（自动曝光）——它的统计信息通常在去马赛克之后、去噪之前提取。为什么？因为RAW域的数据还没做颜色插值，直接算亮度会偏。我见过有人图省事在RAW域直接算AE统计，结果曝光总是不准，后来发现是Bayer pattern的绿色通道权重没处理好。
AWB（自动白平衡）——这个比较特殊。AWB的增益是在前端预处理阶段就乘上去的，但AWB算法本身需要统计整帧的颜色分布。所以AWB的统计提取点通常在去马赛克之后，而增益应用点却在BLC和LSC之后。这就意味着：你算统计的时候，当前帧的增益还没生效。嗯，这里要注意，AWB是一个典型的反馈控制系统。
AF（自动对焦）——AF的评价指标，比如对比度、相位差，通常在边缘增强之后计算。因为锐化后的图像更能反映焦点的清晰度。我在项目中遇到过一个问题：AF统计窗口和AE统计窗口没对齐，导致对焦区域和测光区域不一致，拍出来的照片要么过曝要么欠曝。
核心要点：3A算法的统计提取点和控制应用点往往不在同一个ISP模块。部署时一定要搞清楚每个算法的数据依赖链，否则闭环控制会出问题。
硬件与软件的分工边界
这个问题，说白了就是：哪些事硬件干，哪些事软件干？
我个人的经验是，遵循一个原则——“统计硬件化，决策软件化”。
| 功能模块 | 硬件负责 | 软件负责 |
|---|---|---|
| AE统计 | 直方图、亮度均值、分区统计 | 目标亮度设定、曝光策略、收敛速度控制 |
| AWB统计 | R/G/B通道均值、色温估计、灰点检测 | 色温决策、增益平滑、场景模式切换 |
| AF统计 | 对比度计算、相位差提取、焦点评价 | 对焦策略、马达驱动曲线、搜索算法 |
| ISP参数配置 | 寄存器映射、流水线控制、中断处理 | 参数计算、时序调度、异常处理 |
你想想看，为什么这么分？硬件擅长做确定性的、高吞吐的、低延迟的计算。比如统计直方图，每帧几百万像素，软件算太慢了。但决策不一样，决策需要场景理解、需要历史帧信息、需要处理边界情况，这些是软件的强项。
部署技巧：我建议把硬件统计模块设计成可配置的。比如AE的分区权重、AWB的灰点阈值、AF的窗口位置，最好都能通过寄存器动态调整。这样软件在做策略优化时才有足够的灵活性。
避坑指南：我曾经踩过的三个坑
做3A算法部署，有些坑是共通的。我分享三个亲身经历，希望能帮你少走弯路。
- 统计延迟没算对——有一次AE总是过冲，查了三天发现是硬件统计的帧号和软件读取的帧号差了1帧。硬件统计是当前帧，软件读到的是上一帧的统计。解决方案：在硬件统计模块加一个帧号标签，软件读取时做帧号校验。
- AWB增益溢出——某个高色温场景下，B通道增益被拉到4.0以上，结果硬件寄存器只有8位精度，直接截断导致偏色。后来我强制在软件层做增益限幅，并给硬件提了需求：增益寄存器至少12位。
- AF搜索步长不匹配——硬件马达的步长和软件期望的步长不一致，导致对焦来回震荡。解决方案：在初始化阶段做一次马达标定，把硬件步长映射到软件统一的物理单位（比如微米）。
重要提醒：硬件和软件之间的接口定义，一定要在项目初期就对齐。包括数据结构、帧号同步、中断机制、超时处理。等代码写了一半再改接口，成本会翻好几倍。
小结
ISP流水线不是一条简单的数据通路。3A算法嵌在流水线的不同位置，各自有各自的统计点和控制点。硬件做统计、软件做决策，这个分工边界要清晰。下一章咱们会深入AE的具体实现，包括直方图统计的硬件设计、曝光策略的软件实现，以及两者之间的同步机制。
嗯，今天就到这儿。记住一句话：理解ISP流水线，是部署3A算法的基本功。这块地基打不牢，后面盖什么楼都得塌。