海思ISP调试：sensor选型与ISP适配指南 - 第1节
1. 课程导论
海思（Hisilicon）ISP（Image Signal Processor）是集成在SoC中的专用硬件图像处理单元，负责将sensor输出的原始RAW数据转换为高质量、符合人眼视觉特性的YUV/RGB图像。海思ISP架构采用硬件流水线 + 软件调优的设计理念，兼顾实时性与灵活性。
核心设计思想： 将计算密集、实时性要求高的模块（如去噪、Demosaic）固化在硬件Pipeline中，将参数配置、场景自适应策略交由软件ISP调优工具（如海思ISP_Tuning Tool）完成。
海思ISP架构通常包含以下关键硬件模块：
| 模块 | 功能简述 | 硬件特性 |
|---|---|---|
| AE (自动曝光) | 根据场景亮度调整sensor曝光时间、增益和光圈 | 支持多窗口权重统计、闪烁抑制 |
| AWB (自动白平衡) | 校正不同色温光源下的色偏 | 支持灰点法、色温估计、多区域统计 |
| AF (自动对焦) | 驱动sensor镜头马达实现清晰对焦 | 支持对比度AF、相位AF、混合AF |
| NR (降噪) | 去除sensor和电路引入的噪声 | 2D/3D降噪、运动自适应、空域/时域联合 |
| Demosaic | 将Bayer RAW插值成全彩色RGB | 边缘导向插值、伪色抑制 |
| CCM (色彩校正矩阵) | 将sensor色彩空间映射到标准色彩空间 | 3x3矩阵、饱和度/色调独立调节 |
| Gamma / Tone Mapping | 调整全局/局部对比度，适配显示设备 | 支持HDR合成、局部色调映射 |
海思ISP架构的典型框图如下：
1.2 ISP Pipeline简介
ISP Pipeline（图像信号处理流水线）是指从sensor RAW数据输入到最终YUV/RGB图像输出的完整处理链路。海思ISP Pipeline通常分为前端处理、核心处理、后处理三个阶段。
1.2.1 前端处理阶段
- 黑电平校正 (BLC)：去除sensor暗电流引入的固定偏置。
- 镜头阴影校正 (LSC)：补偿镜头边缘亮度衰减和色彩偏移。
- 坏点校正 (DPC)：检测并替换sensor阵列中的缺陷像素。
- 去马赛克 (Demosaic)：将Bayer格式插值成全彩色RGB。
1.2.2 核心处理阶段
- 降噪 (NR)：2D空域降噪 + 3D时域降噪，运动自适应。
- 色彩校正 (CCM)：3x3矩阵将sensor RGB映射到sRGB/Adobe RGB。
- Gamma校正：非线性映射，适配人眼视觉特性和显示设备。
- 色调映射 (Tone Mapping)：HDR场景下压缩动态范围，保留细节。
1.2.3 后处理阶段
- 边缘增强 (Edge Enhancement)：提升图像锐度，注意避免过冲。
- 饱和度/对比度调节：根据场景或用户偏好调整。
- 缩放/裁剪：输出指定分辨率的图像。
- 格式转换：YUV420/YUV422/RGB888等。
调试要点： Pipeline中每个模块的参数都会影响最终图像质量。调试时应遵循“从源头到终点”的顺序：先校正sensor原始数据（BLC/LSC/DPC），再处理噪声和色彩，最后做美化增强。跳过前端校正直接调后处理，往往事倍功半。
ISP Pipeline的典型数据流如下：
1.3 Sensor在ISP系统中的角色
Sensor（图像传感器）是ISP系统的前端信号源，其光电转换特性、噪声水平、色彩响应直接决定了ISP调试的起点和上限。理解sensor的角色，是做好ISP适配的第一步。
1.3.1 Sensor的核心输出
- RAW数据：Bayer格式（RGGB/GRBG/BGGB/GBRG），每个像素只记录一种颜色分量。
- 控制接口：I2C/SPI用于配置sensor寄存器（曝光、增益、帧率等）。
- 同步信号：VSYNC（帧同步）、HSYNC（行同步）、PCLK（像素时钟）。
1.3.2 Sensor对ISP调试的影响
| Sensor特性 | 对ISP调试的影响 | 选型关注点 |
|---|---|---|
| 动态范围 (DR) | 决定HDR合成策略和Tone Mapping参数 | ≥ 60dB（普通场景），≥ 100dB（HDR场景） |
| 信噪比 (SNR) | 影响降噪强度、细节保留能力 | SNR ≥ 40dB @ 10lux 为佳 |
| 色彩响应 | 影响AWB稳定性和CCM精度 | RGB通道响应均衡，近红外抑制好 |
| 帧率/分辨率 | 决定ISP Pipeline处理带宽和延迟 | 匹配海思ISP最大输入分辨率（如4K@60fps） |
| 坏点/暗电流 | 影响DPC和BLC校正效果 | 坏点率 < 0.01%，暗电流 < 10e-/s |
1.3.3 Sensor与ISP的适配流程
- 硬件连接验证：MIPI/LVDS接口信号完整性、时钟同步。
- Sensor初始化：通过I2C写入寄存器序列，输出RAW数据。
- RAW数据采集：使用海思ISP_Tuning Tool抓取RAW图，检查Bayer格式、黑电平、坏点。
- ISP参数粗调：设置BLC、LSC、DPC基础参数，输出可预览图像。
- 精细调优：针对具体场景优化AE/AWB/AF/NR/CCM等模块。
常见陷阱： 部分sensor的Bayer格式与海思ISP默认配置不一致（如RGGB vs GRBG），会导致颜色完全错乱。调试前务必确认sensor输出格式，并在ISP驱动中正确配置Bayer顺序。
Sensor与ISP系统的数据交互关系如下图所示：
选型建议： 优先选择海思官方已验证的sensor型号（如Sony IMX系列、OV OS系列），可大幅降低适配周期。若选用新sensor，务必提前获取sensor datasheet、Bayer格式、MIPI时序、寄存器配置指南等文档。