1. ISP Pipeline 概述：什么是 ISP、ISP 在相机系统中的位置、主流 ISP 架构介绍

各位同学好，我是老周。在芯片行业摸爬滚打了十几年，从最早的 VGA 摄像头做到现在的 8K HDR 传感器，ISP 一直是我觉得最「有烟火气」的模块。为什么这么说？因为别的 IP 可能跑通就行，但 ISP 好不好，直接决定你拍出来的照片能不能发朋友圈。

今天咱们先不急着调代码，把 ISP 到底是什么、它在相机系统里站哪个位置、主流的架构长什么样，先捋清楚。地基打不牢，后面优化全是白费功夫。

1.1 什么是 ISP？

ISP，全称 Image Signal Processor，图像信号处理器。说白了，它就是把传感器送来的原始数据，变成人眼看着舒服、算法能识别的图像。

你想想看，CMOS 传感器输出的 RAW 数据，本质上就是个电压值矩阵。每个像素点只有一种颜色分量（R/G/B），而且充满了噪声、暗角、坏点。这东西直接显示出来，你根本没法看。

我个人习惯把 ISP 比作「数字暗房」。传统胶片摄影有显影、定影、放大这些步骤，ISP 里也有黑电平校正、去噪、白平衡、色彩校正、Gamma 校正……每一步都在做类似的事情。

我记得刚入行那会儿，带我的老工程师说过一句话，我一直记着：「传感器是眼睛，ISP 是大脑。眼睛再好，脑子不好使，看到的也是模糊的世界。」

1.2 ISP 在相机系统中的位置

一个完整的相机系统，从光到图，大致经过这么几个环节：

1. 镜头（Lens）：收集光线，聚焦到传感器表面。
2. 传感器（Sensor）：光电转换，输出 RAW 数据（通常是 Bayer 格式）。
3. ISP Pipeline：处理 RAW 数据，输出 YUV 或 RGB 图像。
4. 编码器（Encoder）：压缩成 JPEG/HEIF 或视频流。
5. 显示/存储：最终呈现给用户。

ISP 的位置，就在 Sensor 之后、编码器之前。它是整个图像质量链中最关键的一环。

下面这张图，画的是 ISP 在相机系统中的典型位置：

1.3 主流 ISP 架构介绍

ISP 架构没有标准答案，各家有各家的玩法。但归纳起来，主流的有这么几种：

架构类型	代表厂商/方案	特点	适用场景
独立 ISP 芯片	安森美 AP020x、TI DS90UB系列	独立封装，与 Sensor 通过 MIPI 连接；处理能力强，但功耗和面积大	安防监控、车载摄像头、工业相机
SoC 集成 ISP	高通 Spectra、联发科 Imagiq、海思 IVE	与 CPU/GPU/NPU 集成在同一颗芯片上；功耗低，但灵活性受限	智能手机、平板、消费级摄像头
FPGA 实现 ISP	Xilinx、Intel (Altera) 方案	可编程、可定制；适合原型验证和小批量产	科研、特殊应用、算法预研
纯软件 ISP	OpenCV、Halide、自研算法	运行在 CPU/GPU 上；灵活但实时性差、功耗高	算法验证、后处理、低帧率场景

从 Pipeline 内部来看，ISP 的模块架构也有两种主流思路：

• 固定流水线（Fixed Pipeline）：模块顺序固定，数据流单向。优点是延迟低、硬件实现简单；缺点是灵活性差，改一个模块顺序就得重新流片。
• 可配置流水线（Configurable Pipeline）：模块之间通过交叉开关或 DMA 连接，可以动态调整处理顺序。我最近几年做的项目基本都是这种，虽然控制逻辑复杂，但调试起来太方便了。

下面这张图，展示的是一个典型的 ISP Pipeline 内部模块结构：