1. ISP Pipeline 概述：什么是ISP、ISP在相机系统中的位置、ISP处理流程总览
1.1 什么是ISP？
ISP，全称 Image Signal Processor，图像信号处理器。说白了，它就是相机系统里负责「把原始数据变成人眼能看懂的图像」的那套硬件+软件方案。
我刚开始接触这个领域时，以为ISP就是个简单的滤镜。后来踩了坑才明白——ISP决定了你拍出来的照片是「手机样张」还是「废片」。
核心定义：ISP接收来自图像传感器（CMOS/CCD）的原始RAW数据，经过一系列算法处理，输出标准的YUV或RGB图像。
你想想看，传感器输出的RAW数据长什么样？每个像素点只记录了红、绿、蓝其中一种颜色的亮度值（Bayer模式）。如果没有ISP，你看到的会是一张灰蒙蒙、偏色、满是噪点的马赛克图。
个人经验：我在调试某款手机摄像头时，遇到过RAW数据直接显示的情况——那画面，嗯，就像你透过一个脏兮兮的万花筒看世界。ISP就是那个把万花筒擦干净的人。
1.2 ISP在相机系统中的位置
要理解ISP，得先搞清楚它在整个相机链路里站哪。我习惯把相机系统分成三块：
- 前端光学模块：镜头、光圈、马达、滤光片
- 传感器模块：CMOS/CCD、模拟前端（AFE）、ADC
- ISP处理模块：硬件ISP或软件ISP
数据流是这样的：
镜头 → 传感器(RAW) → ISP → 编码器 → 存储/显示这里有个关键点：ISP的位置决定了它的输入输出格式。输入永远是RAW，输出可以是YUV、RGB甚至直接压缩成JPEG。
| 模块 | 输入 | 输出 | 典型延迟 |
|---|---|---|---|
| 传感器 | 光信号 | RAW（10/12/14bit） | 1-10ms |
| ISP | RAW | YUV/RGB | 5-30ms |
| 编码器 | YUV | JPEG/H.264 | 10-50ms |
避坑指南：我曾经在项目里忽略了ISP和传感器之间的时序匹配，结果导致每帧图像都有半行错位。后来花了三天才定位到是MIPI接口的时钟相位没调好。记住：ISP不是独立工作的，它和传感器是「夫妻档」。
1.3 ISP处理流程总览
ISP流水线，说白了就是一系列算法的串联。我习惯把它分成三个阶段：
- 预处理阶段：黑电平校正、镜头阴影校正、坏点校正
- 核心处理阶段：去马赛克、白平衡、色彩校正、伽马校正
- 后处理阶段：降噪、锐化、色调映射、缩放
每个阶段都有它的「脾气」。比如预处理阶段，如果你不把黑电平校正好，后面所有颜色都会偏。我见过一个团队，白平衡怎么调都调不准，最后发现是黑电平偏移了2个LSB。
下面这张图是我自己总结的ISP流水线框架，你感受一下：
1.4 各模块的依赖关系
ISP流水线不是简单的「搭积木」。模块之间有严格的依赖关系。我举个例子：
- 黑电平校正必须在去马赛克之前——否则黑色区域会带颜色
- 镜头阴影校正必须在白平衡之前——否则四角偏色
- 降噪通常在锐化之前——否则会把噪声也锐化出来
我的调试习惯：每次只动一个模块的参数，调完就抓图对比。千万别同时调三个模块——你根本不知道哪个参数导致了问题。我曾经一次调了白平衡和伽马，结果图像偏蓝，我花了两个小时才定位到是伽马曲线设错了。
1.5 硬件ISP vs 软件ISP
现在市面上有两种实现方式：
| 对比项 | 硬件ISP | 软件ISP |
|---|---|---|
| 延迟 | 低（<5ms） | 高（>20ms） |
| 功耗 | 低 | 高（CPU/GPU占用） |
| 灵活性 | 低（固定流水线） | 高（可定制算法） |
| 典型场景 | 手机、安防、车载 | 无人机、科研、原型验证 |
我个人更倾向于硬件ISP，因为稳定。但软件ISP在调试阶段特别有用——你可以快速验证算法效果，再移植到硬件上。
避坑指南：我曾经在软件ISP上调试好的参数，移植到硬件ISP后效果完全不一样。原因是硬件ISP的位宽和精度跟软件模拟的不一致。所以，永远以硬件ISP的最终输出为准。
1.6 本章小结
ISP不是玄学，它是一套有章可循的工程体系。记住三点：
- 输入是RAW，输出是YUV/RGB
- 模块之间有严格的依赖顺序
- 调试时一次只动一个参数
嗯，这一章就到这里。后面的章节我们会逐个模块深入，从黑电平校正开始，一步步把整个流水线跑通。