1.1 海思ISP平台概述
海思半导体(Hisilicon)推出的Hi3516、Hi3559等系列芯片,是安防监控、智能相机、车载视觉等领域广泛应用的嵌入式视觉SoC。其核心优势之一在于集成了高性能、可编程的ISP(Image Signal Processor,图像信号处理器)流水线,能够将RAW Sensor数据实时处理为高质量的数字图像。本章节将首先梳理海思ISP的整体架构,并重点定位AF(自动对焦)模块在ISP Pipeline中的角色与作用。
1.1.1 海思芯片系列与ISP架构
海思视觉芯片通常采用“CPU + DSP + ISP + NPU”的异构计算架构。ISP作为独立的硬件流水线,负责所有与图像质量相关的实时处理。以Hi3516DV300和Hi3559AV100为例,其ISP Pipeline包含以下主要模块:
| 模块名称 | 功能描述 | 处理阶段 |
|---|---|---|
| DPC (Defect Pixel Correction) | 校正Sensor的坏点(静态/动态) | RAW域预处理 |
| BLC (Black Level Correction) | 消除Sensor暗电流引起的黑电平偏移 | RAW域预处理 |
| LSC (Lens Shading Correction) | 补偿镜头边缘亮度衰减和色彩偏差 | RAW域预处理 |
| AE (Auto Exposure) | 自动控制曝光时间、增益、光圈 | 3A统计与控制 |
| AWB (Auto White Balance) | 自动校正色温,还原物体本色 | 3A统计与控制 |
| AF (Auto Focus) | 自动驱动镜头马达,使画面清晰 | 3A统计与控制 |
| Demosaic | 将Bayer RAW插值还原为RGB图像 | RGB域处理 |
| CCM (Color Correction Matrix) | 色彩校正矩阵,提升色彩还原精度 | RGB域处理 |
| Gamma | 伽马校正,适应显示设备的非线性特性 | RGB域处理 |
| WDR (Wide Dynamic Range) | 宽动态处理,提升高对比度场景细节 | YUV域处理 |
| NR (Noise Reduction) | 2D/3D降噪,提升信噪比 | YUV域处理 |
| Sharpen | 边缘增强,提升视觉清晰度 | YUV域处理 |
工程要点: 海思ISP的3A(AE/AWB/AF)模块虽然逻辑上独立,但在硬件上共享统计引擎(Histogram、统计窗口等)。AF模块依赖ISP输出的亮度/对比度统计信息,因此AF调试往往需要与AE、AWB联动考虑,避免曝光或色温变化干扰对焦评价。
1.1.2 AF模块在ISP Pipeline中的位置
AF模块位于ISP Pipeline的“3A统计与控制”层,紧接在RAW域预处理(DPC/BLC/LSC)之后,但在Demosaic和RGB域处理之前。AF模块不直接修改图像数据,而是通过分析ISP统计引擎提供的对比度/清晰度评价函数(如Sobel梯度、Laplacian能量、MTF估计等),计算出当前画面的对焦清晰度值,并据此控制镜头马达(VCM/Stepper Motor)移动到最佳对焦位置。
下图展示了AF模块在ISP Pipeline中的具体位置及其与Sensor、镜头马达的交互关系:
调试视角: 上图中虚线箭头表示“镜头马达 → Sensor”的物理反馈回路。在实际联调中,AF模块的响应速度受限于Sensor帧率(Vblanking/Hblanking配置)和马达驱动延时。如果Sensor配置了过长的曝光时间或过高的增益,AF统计窗口的对比度信息会失真,导致对焦不准。因此,AF调试必须与Sensor配置(曝光行、增益、帧率)同步联调。
1.1.3 AF模块的核心作用
在海思ISP系统中,AF模块承担以下关键职责:
- 清晰度评价: 从ISP统计引擎获取指定窗口内的梯度/能量值,计算对焦评价函数(Focus Value, FV)。
- 对焦搜索策略: 实现爬山算法(Hill Climbing)、全局搜索、快速搜索等策略,驱动马达找到FV峰值位置。
- 防抖与锁定: 在场景静止时锁定对焦位置,避免因噪声或微小抖动导致反复搜索。
- 场景切换响应: 检测到场景突变(如新目标进入画面)时,快速触发重新对焦。
- 与AE/AWB协同: 在曝光或色温剧烈变化时,AF模块需抑制误触发,避免将亮度/颜色变化误判为清晰度变化。
| AF子功能 | 依赖的ISP统计量 | 典型调试参数 |
|---|---|---|
| 对比度检测 | Sobel梯度、Laplacian能量 | 统计窗口大小、权重、阈值 |
| 峰值搜索 | FV曲线斜率、历史FV值 | 搜索步长、稳定判定帧数 |
| 场景变化检测 | 亮度直方图、运动矢量 | 变化阈值、触发延时 |
| 马达控制 | 目标位置、当前位置 | 驱动速度、过冲补偿 |
常见陷阱: 在Sensor配置联调中,如果Sensor的HDR(高动态范围)模式开启,不同曝光帧的对比度信息可能不一致,导致AF统计引擎输出的FV值出现周期性波动。此时必须调整AF统计窗口的帧选择策略(例如仅使用长曝光帧或短曝光帧的统计量),否则AF会反复误判,无法稳定合焦。
1.1.4 海思ISP调试工具链简介
海思官方提供了一套完整的ISP调试工具链,用于AF与Sensor的联调:
- HiISP Tool: 上位机调试软件,支持实时预览ISP各模块效果、调整参数、保存配置文件。
- HiAE/AWB/AF Lib: 海思提供的3A算法库,支持用户自定义策略和回调函数。
- Sensor驱动库: 包含Sensor初始化序列、曝光控制、增益控制、帧率配置等API。
- IQ(Image Quality)文件: 存储所有ISP模块的调优参数,包括AF的搜索窗口、步长、阈值等。