📚 课程目录第2章 ISP基础架构

2. ISP基础架构

要理解3A算法为什么“难”，先要理解它运行在什么样的数据通路里。ISP（Image Signal Processor）不是一颗简单的“图像转换芯片”，而是一条高度并行的流水线：从传感器输出的Bayer RAW开始，经过黑电平校正、坏点修复、镜头阴影校正、去马赛克、白平衡、色彩校正、Gamma、降噪、锐化等环节，最终输出可供编码、显示或算法使用的YUV/RGB图像。3A（AF自动对焦、AE自动曝光、AWB自动白平衡）并不是独立于ISP之外的“外挂模块”，而是深度嵌入流水线、依赖统计信息、反过来控制传感器的闭环系统。

一、ISP流水线的典型组成

不同厂商的ISP流水线细节不同，但主干结构高度相似。可以把它理解为“前端RAW域处理 + 中端统计与3A决策 + 后端YUV域处理”三段式结构。RAW域处理尽量在传感器原始数据上完成，因为此时数据线性、噪声模型简单、位深高；YUV域处理则更接近人眼感知和显示需求，常做非线性、色彩空间转换和细节增强。

典型流水线顺序如下：

RAW输入与前端校正：黑电平校正（BLC）、镜头阴影校正（LSC）、坏点/死点修复（DPC）、去噪（RAW NR）。
统计信息提取：在RAW域或RGB域计算AE统计（亮度直方图/均值）、AWB统计（R/G/B均值或色温网格）、AF统计（对比度/相位差/清晰度评价）。
3A决策与反馈：AE计算曝光时间与增益，AWB计算R/B增益，AF驱动VCM马达或调整相位对焦参数，结果写回传感器和ISP寄存器。
去马赛克与色彩处理：Demosaic、AWB增益应用、CCM色彩校正、Gamma、色彩空间转换（RGB→YUV）。
YUV域增强：降噪（YUV NR）、锐化（Sharpening）、局部对比度增强、肤色保护等。
输出与后处理：缩放（Scaler）、裁剪、格式打包，输出给编码器、显示或NPU/CPU算法。

核心记忆点：RAW域负责“把物理信号修正确”，YUV域负责“把图像做得好看”，3A则贯穿两域，用统计信息驱动闭环控制。

二、RAW域与YUV域的分工

RAW域是传感器原始数据的直接表达，每个像素只有一个颜色分量（R、G或B），位深通常为10bit、12bit、14bit甚至更高。它的优势是线性、信息完整、便于精确建模噪声与增益；缺点是数据量大、无法直接显示。YUV域则是经过去马赛克和色彩重建后的图像，每个像素有完整的Y、U、V分量，Y表示亮度，U/V表示色度。YUV域更适合做感知相关的处理，例如降噪、锐化、色调映射，也更适合视频编码，因为人眼对色度分辨率不敏感，可以下采样。

3A在RAW域和YUV域都有“触角”。AE和AWB的统计通常优先在RAW域完成，因为此时没有经过Gamma和色彩矩阵，统计结果更接近物理亮度与色温；AF的对比度评价既可以在RAW域做，也可以在YUV域做，取决于平台架构。但3A的控制结果往往同时作用于两域：AE的曝光增益作用于传感器和RAW域，AWB的R/B增益作用于RAW域或RGB域，AF则直接控制镜头马达。

三、3A在ISP中的位置与数据流

下面这张SVG图展示了ISP流水线中RAW域、统计模块、3A控制环与YUV域处理之间的数据流关系。请重点观察：统计信息从流水线中“分叉”出来进入3A算法，3A结果再“回流”到传感器和ISP寄存器，形成闭环。

四、硬件加速与3A的工程实现

在手机、安防、车载等场景中，ISP通常以硬件流水线形式实现，因为4K/60fps甚至8K视频要求每秒处理数亿像素，纯CPU软件方案无法满足功耗和实时性。硬件加速的关键在于：统计模块与处理模块并行。例如，AE统计可以在RAW域处理的同时由专用统计引擎完成，不需要等整帧处理完；AWB统计可以在多个色温网格上并行累加；AF统计可以在YUV域或RAW域用硬件滤波器计算对比度。

3A算法本身通常运行在CPU或专用MCU/DSP上，频率远低于ISP流水线，因此需要“降频决策”：每帧或每几帧读取一次统计结果，计算新的曝光/增益/马达位置，再通过I2C/SPI写回传感器和ISP寄存器。这个过程中，时序同步非常关键：如果AE在帧N计算，但寄存器在帧N+2才生效，就会出现“曝光滞后”，导致视频闪烁或收敛震荡。

处理域	典型模块	数据特点	3A相关动作
RAW域	BLC、LSC、DPC、RAW NR	线性、高位深、单通道	AE/AWB统计、曝光增益应用
RGB域	Demosaic、AWB、CCM、Gamma	三通道、非线性开始	AWB增益、色彩校正
YUV域	YUV NR、锐化、缩放	亮度/色度分离、可下采样	AF对比度评价、输出给算法
控制域	CPU/DSP/MCU	低频、寄存器读写	3A决策、闭环反馈、时序同步

五、案例：一次AE收敛失败的复盘

某车载项目在隧道出口场景出现“画面先过曝再慢慢变暗”的问题。排查发现：AE统计在RAW域完成，但曝光增益写回传感器存在2帧延迟；同时隧道出口高光区域面积快速增大，AE算法使用了过大的步进增益，导致第一次调整过冲。复盘结论是：3A算法不仅要算得准，还要与ISP流水线延迟匹配。解决方法是引入延迟补偿模型，限制单帧增益变化幅度，并在统计模块中增加高光权重区域，让AE更早感知高光变化。

常见误区：把3A当成独立算法模块，忽略它与ISP流水线、传感器寄存器、帧同步之间的耦合。实际上，3A的稳定性很大程度取决于“统计—决策—写回—生效”这条链路的时序设计。

六、核心要点清单

ISP流水线分为RAW域处理、统计与3A决策、YUV域处理三大段。
RAW域线性、高位深，适合精确统计与物理校正；YUV域适合感知增强与编码输出。
3A嵌入流水线：统计信息从RAW/YUV分叉，控制结果回流到传感器和ISP寄存器。
硬件加速的核心是统计与处理并行，3A算法在CPU/DSP上低频决策。
时序同步与延迟补偿是3A工程稳定性的关键，不能只关注算法本身。

典型3A控制环伪代码：
for each frame:
    stats = isp_read_statistics()   // AE/AWB/AF统计
    ae_result = ae_decide(stats.ae)
    awb_result = awb_decide(stats.awb)
    af_result = af_decide(stats.af)
    sensor_write(ae_result.exposure, ae_result.gain)
    isp_write(awb_result.r_gain, awb_result.b_gain)
    vcm_write(af_result.position)
    wait_for_next_vsync()           // 与帧同步对齐

理解ISP基础架构，是后续深入3A算法的前提。只有先看清数据在哪里产生、在哪里统计、在哪里生效，才能设计出收敛快、稳定性好、场景适应性强的3A系统。