📚 课程目录第4章 ISP基本概念

4. ISP基本概念

ISP（Image Signal Processor，图像信号处理器）是车载摄像头链路中负责把传感器输出的原始数据转换为可感知、可分析、可显示图像的核心处理单元。它既是一块硬件加速器，也是一套由驱动、固件、算法库和调优参数共同构成的软硬件协同系统。理解ISP，不能只把它当成一个“滤镜模块”，而应从定义、流水线、输入输出、硬件架构和软件架构五个维度建立整体认知。

一、ISP的定义与职责边界

从工程角度看，ISP的定义可以概括为：接收图像传感器输出的Bayer RAW或RGB-IR等原始数据，经过一系列像素级与统计级处理，输出YUV、RGB或压缩前图像，并同时产生3A统计信息供控制环路使用。它的职责边界通常包括：

像素处理：黑电平校正、镜头阴影校正、坏点校正、去马赛克、降噪、锐化、伽马、色彩校正等。
统计与反馈：为自动曝光（AE）、自动白平衡（AWB）、自动对焦（AF）提供直方图、均值、区域统计等数据。
格式转换与输出：把RAW转换为YUV422、YUV420、RGB或NV12等，供显示、编码、感知算法使用。
时序与接口管理：与Sensor、CSI-2、DMA、内存和显示/编码模块协同工作。

需要明确的是，ISP不负责“理解”图像内容，它只负责把图像处理到适合后续模块使用的质量水平。目标检测、语义分割等任务由NPU或GPU完成，ISP为其提供稳定、低噪声、色彩一致的输入。

二、处理流水线：从RAW到可用图像

典型车载ISP流水线可以按“前端校正—核心处理—后端输出”三段理解。前端主要做与传感器特性强相关的校正，核心处理完成去马赛克和色彩重建，后端完成降噪、锐化、伽马和输出格式化。下面用一张结构关系图展示主要处理阶段及其数据流向。

流水线中的每个阶段都有明确的输入输出格式和参数。例如黑电平校正需要读取Sensor暗电流标定值，镜头阴影校正需要网格增益表，去马赛克需要Bayer排列模式。这些参数通常由标定流程生成，并在量产时写入配置文件。

三、输入输出：格式、接口与数据量

ISP的输入通常来自MIPI CSI-2接口，数据格式包括RAW8、RAW10、RAW12、RAW14、RAW16，以及部分RGB-IR传感器输出的四通道数据。输出则根据下游需求选择：

方向	典型格式	位宽/采样	主要用途
输入	Bayer RAW10/12	10/12 bit	Sensor原始数据
输入	RGB-IR RAW12	12 bit	舱内DMS/OMS
输出	YUV422 / NV12	8/10 bit	显示、编码、感知
输出	RGB888	8 bit	调试、算法验证
统计	直方图/区域统计	32 bit累加	3A控制环路

以1920×1080、RAW12、30fps单路为例，输入数据率约为1920×1080×12×30≈746Mbps，加上消隐区通常超过800Mbps。多路摄像头并发时，ISP内部带宽和DDR访问会成为瓶颈，因此硬件架构中常采用行缓存、分块处理和专用DMA来降低外部内存压力。

四、硬件架构概述

车载ISP硬件通常以IP核形式集成在SoC中，内部由多个固定功能流水线单元和可编程单元组成。固定功能单元负责高吞吐、低功耗的像素处理，如BLC、LSC、DPC、Demosaic、Gamma；可编程单元则用于需要灵活调整的降噪、锐化和色彩增强。典型硬件模块包括：

输入接口与像素解包：接收CSI-2数据，完成字节对齐和RAW解包。
行缓存与分块引擎：为卷积、滤波类算法提供邻域像素。
统计引擎：并行计算直方图、区域均值和对比度。
DMA与总线接口：把输出写入DDR或直接送到显示/编码模块。
安全与诊断：CRC、看门狗、错误注入和ASIL相关监控。

硬件架构选型的核心矛盾是：吞吐量、延迟、功耗、面积和灵活性。固定功能单元效率高但不够灵活，可编程单元灵活但功耗和面积更大。车载ISP通常采用“固定功能为主、可编程为辅”的混合架构。

五、软件架构概述

软件架构决定ISP能否被正确配置、调优和量产。典型分层如下：

驱动层：负责寄存器读写、中断处理、时钟与电源管理，向上提供设备节点。
固件/算法层：运行在ISP内部MCU或DSP上，执行3A控制、参数计算和流水线调度。
中间件层：提供V4L2、Camera HAL或专有API，管理多路摄像头和缓冲区。
调优与标定工具层：生成LSC、CCM、Gamma、NR等参数表，支持在线调试。
应用层：ADAS、DMS、AVM等业务模块，通过标准接口获取图像和统计信息。

下面给出一段典型的ISP初始化配置片段，用于说明软件如何把参数下发到硬件：

isp_config_t cfg = {
  .input  = { .format = RAW12, .width = 1920, .height = 1080, .fps = 30 },
  .blc    = { .r = 64, .gr = 64, .gb = 64, .b = 64 },
  .lsc    = { .enable = 1, .grid = 17, .table = lsc_table },
  .demosaic = { .mode = MALVAR, .edge_th = 32 },
  .ccm    = { .matrix = { 1.8, -0.7, -0.1, -0.3, 1.6, -0.3, 0.0, -0.5, 1.5 } },
  .gamma  = { .curve = gamma_curve_2_2 },
  .output = { .format = NV12, .stride = 1920 }
};
isp_apply_config(&cfg);

六、案例与常见误区

在某量产车载项目中，前视摄像头在夜间出现明显噪点和色彩偏绿。排查发现：LSC表使用白天标定数据，夜间增益提高后镜头阴影被放大；同时AWB在低照度下收敛过慢，导致CCM矩阵与色温不匹配。解决方法是分亮度段标定LSC，并调整AWB低照度策略。这说明ISP问题往往不是单一模块故障，而是流水线参数与场景不匹配。

常见误区：把ISP当成“万能画质提升器”。实际上，RAW数据质量、镜头光学、Sensor动态范围和标定精度决定了画质上限，ISP只能在边界内优化。另一个误区是忽视3A统计与像素处理的耦合，导致曝光、白平衡和色彩相互打架。

总结来看，ISP是车载视觉链路的“图像基座”：定义上它完成RAW到可用图像的转换；流水线上它按校正、重建、增强、输出分阶段处理；输入输出上它连接Sensor与感知/显示模块；硬件上它追求高吞吐低延迟；软件上它依赖驱动、固件、中间件和调优工具的协同。只有把五个维度放在一起理解，才能在后续的3A控制、HDR合成和功能安全设计中做出正确取舍。