3. ISP硬件架构

海思3519的ISP(图像信号处理器)是一个高度集成的硬件流水线,专门为安防监控、车载和工业相机设计。理解其硬件架构是进行AF对焦与图像质量调优的基础。本章将拆解ISP的模块框图,并深入分析DPC、AWB、AE、AF四个核心模块的工作原理与硬件实现。

3.1 ISP硬件模块总体框图

海思3519 ISP采用全硬件流水线架构,从Sensor输入RAW数据到输出YUV/RGB图像,所有处理均在硬件模块中完成,无需CPU干预。下图展示了ISP内部的主要模块及其数据流关系。

海思3519 ISP硬件模块框图 海思3519 ISP硬件模块框图 Sensor RAW输入 DPC (坏点校正) AWB (自动白平衡) 统计 + 增益调整 AE (自动曝光) 曝光时间 / 增益 / 光圈 AF (自动对焦) 对比度 / 相位检测 输出 (YUV/RGB) 反馈控制 说明:ISP流水线为全硬件实现,DPC→AWB→AE→AF依次处理。AE和AF模块通过硬件统计引擎实时反馈,调整Sensor曝光参数和镜头位置。 虚线表示AE/AF的反馈控制路径,不参与像素数据流。
架构要点:
  • ISP流水线是全硬件的,每个模块都有独立的DMA和统计引擎。
  • DPC、AWB、AE、AF是影响图像质量最关键的四个模块。
  • AE和AF模块通过反馈环路控制Sensor和镜头,形成闭环。

3.2 关键模块详解

3.2.1 DPC (Defective Pixel Correction) 坏点校正

DPC是ISP流水线的第一级处理,负责检测和校正Sensor阵列中的坏点(死点、亮点、热噪点)。海思3519的DPC硬件支持动态检测和静态映射两种模式。

DPC坏点校正流程 DPC坏点校正流程 RAW像素输入 坏点检测 阈值比较 / 邻域统计 插值校正 旁路(正常像素) 校正后输出
DPC工作模式对比
模式 原理 适用场景 硬件开销
静态映射 预存坏点坐标表,直接替换 出厂标定、固定坏点 低(查表)
动态检测 实时比较像素与邻域均值,超过阈值则校正 热噪点、随时间产生的坏点 中(需统计引擎)
调优提示:DPC阈值设置过小会导致正常细节被误判为坏点,图像变模糊;阈值过大则坏点残留。建议先通过静态映射消除固定坏点,再使用动态检测处理热噪点。

3.2.2 AWB (Auto White Balance) 自动白平衡

AWB模块负责在不同色温光源下还原物体真实颜色。海思3519的AWB硬件包含色温统计引擎和增益矩阵,支持灰度世界、完美反射、色温曲线等多种算法。

AWB自动白平衡硬件结构 AWB自动白平衡硬件结构 RAW图像 色温统计引擎 R/G/B直方图 / 色温估计 增益计算 R/G/B Gain 增益应用 乘法器阵列 输出 硬件特点:色温统计引擎独立于像素处理流水线,每帧统计一次,不占用主时钟周期。 增益应用模块使用硬件乘法器,支持逐像素R/G/B三通道独立增益,精度12bit。
AWB关键参数:
  • 色温范围:2000K ~ 10000K,覆盖钨丝灯到阴天。
  • 增益精度:12bit,最小步进0.001。
  • 收敛速度:硬件统计每帧更新,软件算法通常3~5帧收敛。

3.2.3 AE (Auto Exposure) 自动曝光

AE模块通过调整Sensor的曝光时间、模拟增益和数字增益,使图像亮度达到目标值。海思3519的AE硬件支持多窗口加权测光、背光补偿和防闪烁检测。

AE控制参数与硬件接口
参数 硬件实现 调节范围 典型步进
曝光时间 Sensor寄存器控制 1/10000s ~ 1s 1行时间
模拟增益 Sensor PGA 1x ~ 16x 0.125x
数字增益 ISP乘法器 1x ~ 8x 0.01x
注意事项:AE调节时优先调整曝光时间,其次模拟增益,最后数字增益。数字增益过大会放大噪声,导致图像信噪比下降。在低照度场景下,应适当降低目标亮度值。

3.2.4 AF (Auto Focus) 自动对焦

AF模块是本章的核心。海思3519支持对比度检测(CDAF)和相位检测(PDAF)两种对焦方式,硬件提供锐度统计引擎和马达控制接口。

AF自动对焦硬件架构 AF自动对焦硬件架构 图像数据 锐度统计引擎 Sobel / Laplacian 滤波 多窗口统计 对焦评价函数 峰值检测 / 曲线拟合 马达控制接口 PWM / I2C / SPI 步进电机 / VCM 反馈环路:调整镜头位置 → 重新统计锐度 → 评价 → 再调整 硬件特点:锐度统计引擎支持最多16个可配置窗口,每个窗口独立输出Sobel梯度值。 马达控制接口支持VCM(音圈马达)和步进电机,分辨率可达1μm步进。 PDAF模式下,硬件直接读取Sensor相位差像素,输出偏移量,无需软件计算。
AF对焦模式对比:
  • CDAF(对比度检测):通过锐度统计引擎计算图像梯度,寻找峰值位置。精度高,但需要反复搜索,速度较慢。
  • PDAF(相位检测):利用Sensor上的专用相位像素,一次计算即可得到偏移方向和距离。速度快,适合视频和运动场景。

3.3 模块间协同关系

在实际调试中,DPC、AWB、AE、AF四个模块并非独立工作,它们之间存在紧密的依赖关系:

模块间依赖关系
依赖方向 影响说明 调试注意事项
DPC → AWB 坏点未校正会导致色温统计偏差 先完成DPC标定,再进行AWB调试
AE → AF 曝光不足或过曝会降低锐度统计准确性 AF调试时需固定AE参数,或使用稳定光照
AWB → AF 色温变化影响图像对比度分布 不同色温下AF曲线可能偏移,需做温度补偿
AF → AE 对焦清晰后图像细节增多,AE统计值可能变化 AE窗口应避开对焦区域,或使用全局统计
实战建议:在调试AF对焦性能时,建议先锁定AE和AWB参数,使用标准色温灯箱(如D65)和固定曝光,排除其他模块的干扰。待AF收敛后,再逐步放开AE和AWB的自动调节。

3.4 本章小结