一、ISP 基础概念：什么是 ISP？它在相机系统里扮演什么角色？
各位同学好，我是老张。在图像处理这行摸爬滚打了十几年，今天咱们来聊聊 ISP 那些事儿。
ISP 是什么？全称是 Image Signal Processor，图像信号处理器。说白了，它就是相机系统里那个负责把「RAW 原始数据」变成「你能看到的好照片」的幕后英雄。
你按下快门那一瞬间，传感器（Sensor）捕捉到的只是一堆电压值，经过 ADC 转换后变成 RAW 数据。这数据长什么样？嗯，灰蒙蒙的，偏色严重，噪点一堆，根本没法看。ISP 就是负责把这些「半成品」加工成「成品」的流水线。
核心观点：ISP 的本质是一个信号处理链路，它把传感器输出的 Bayer 格式 RAW 数据，经过一系列算法模块处理，最终输出标准的 YUV 或 RGB 图像。
1.1 ISP 在相机系统中的位置
我习惯把整个相机系统分成三大部分：光学系统、传感器系统、ISP 系统。你想想看，光线从镜头进来，经过 Sensor 变成电信号，然后交给 ISP 去处理。ISP 就是承上启下的那个关键环节。
具体位置关系，我画了张图，你看一眼就明白了：
从这张图你能看到，ISP 夹在 Sensor 和输出之间。它接收 Sensor 传来的 RAW 数据，经过内部 Pipeline 处理，最后输出标准的图像格式。
我记得刚入行那会儿，有个项目 Sensor 输出有坏点，我以为是 Sensor 坏了，折腾了两天。后来才发现是 ISP 的坏点校正参数没配对。嗯，从那以后我养成了一个习惯：遇到图像问题，先确认 ISP 链路是否正常。
1.2 ISP Pipeline 概述
ISP Pipeline 就是 ISP 内部的处理流水线。它由多个算法模块串联而成，每个模块负责一个特定的图像处理任务。
我见过很多种 Pipeline 架构，不同厂商、不同芯片的 ISP 模块顺序可能略有差异，但核心模块基本一致。下面这张图是典型的 ISP Pipeline：
你看，Pipeline 里的模块是有顺序的。为什么黑电平校正要放在最前面？因为 Sensor 输出的 RAW 数据有固定的黑电平偏移，不先去掉它，后面的处理都会带着这个误差。这就是 Pipeline 设计的逻辑——前一个模块的输出是后一个模块的输入，顺序错了，效果就差了。
我给大家整理了一个表格，把核心模块的功能和常见问题列出来：
| 模块名称 | 处理域 | 核心功能 | 常见问题 |
|---|---|---|---|
| 黑电平校正 (BLC) | RAW | 去除 Sensor 暗电流偏移 | 校正不准导致偏色 |
| 去噪 (Denoise) | RAW | 降低传感器噪声 | 过度去噪导致细节丢失 |
| 去马赛克 (Demosaic) | RAW | Bayer 格式插值成 RGB | 边缘出现伪色/锯齿 |
| 白平衡 (AWB) | RAW/RGB | 校正色温偏差 | 偏蓝或偏黄 |
| 色彩校正 (CCM) | RGB | 颜色矩阵变换，还原真实色彩 | 肤色偏紫或偏绿 |
| Gamma 校正 | RGB | 非线性亮度映射，适配显示设备 | 暗部细节丢失 |
| 色调映射 (Tone Mapping) | RGB | 高动态范围压缩 | 过曝或欠曝区域无细节 |
| 锐化 (Sharpening) | YUV | 增强图像边缘 | 振铃效应/噪点放大 |
我的经验：调 ISP 的时候，我习惯从前往后调。先调 BLC，再调 Denoise，然后才是 AWB、CCM 这些。为什么？因为前面的模块如果没调好，后面的模块再怎么调也救不回来。这就跟盖房子一样，地基没打好，装修再漂亮也没用。
1.3 ISP 的两种实现方式
在实际项目中，ISP 有两种常见的实现方式：硬件 ISP 和软件 ISP。
- 硬件 ISP：集成在 SoC 或独立 ISP 芯片里，用专用硬件电路处理。速度快，功耗低，但灵活性差。手机、安防摄像头里基本都是这种。
- 软件 ISP：在 CPU/GPU/DSP 上通过软件算法实现。灵活性高，可以随时更新算法，但功耗和延迟较大。常见于计算摄影、科研平台。
我个人更倾向于硬件 ISP + 软件调优的组合方式。硬件保证实时性，软件保证灵活性。我曾经在一个项目中，硬件 ISP 的锐化模块效果不理想，后来在软件层加了一个后处理锐化，效果立马就上来了。
避坑提醒：千万不要以为 ISP 是万能的。Sensor 本身的质量、镜头的解析力、环境光照条件，这些都会直接影响最终图像质量。ISP 能做的，是在现有硬件条件下把图像质量做到最优。如果 Sensor 本身信噪比就很差，ISP 再怎么调也救不回来。
1.4 本章小结
好了，咱们把这一章的核心内容捋一捋：
- ISP 是图像信号处理器，负责把 RAW 数据变成好看的图像。
- 它在相机系统中位于 Sensor 和输出之间，承上启下。
- ISP Pipeline 由多个模块串联而成，每个模块有固定的处理顺序。
- 硬件 ISP 和软件 ISP 各有优劣，实际项目中常混合使用。