一、ISP 基础概念：从传感器到人眼的桥梁
大家好，我是你们的 ISP 课程讲师。今天咱们聊聊 ISP 的基础概念。说实话，我入行那会儿，很多人把 ISP 当成一个黑盒子——RAW 图进去，好看的图片出来，中间发生了什么一概不知。这种做法，迟早要踩坑。
1.1 什么是 ISP？
ISP，全称 Image Signal Processor，图像信号处理器。它的任务很简单：把 CMOS 传感器输出的 RAW 数据，变成人眼看着舒服、机器能分析的图像。
你想想看，传感器输出的 RAW 数据是什么？是一堆 10bit 或 12bit 的电压值，每个像素只记录了 R、G、B 其中一个通道的强度。这玩意儿直接看，就是一片灰蒙蒙的、带马赛克的原始数据。ISP 就是负责把这堆“半成品”加工成“成品”的流水线。
核心定义： ISP 是一个硬件 + 算法的处理系统，负责将传感器 RAW 数据转换为标准色彩空间、可显示、可存储的数字图像。
我个人习惯把 ISP 比作“数字暗房”。传统胶片摄影有暗房冲洗流程——显影、定影、放大、调色。ISP 就是数字时代的暗房，只不过所有操作都在芯片上实时完成。
1.2 ISP 在相机系统中的位置
ISP 不是孤立存在的。它夹在传感器和后续应用之间，是图像质量的“守门员”。
一个典型的相机系统架构是这样的：
- 镜头（Lens）：收集光线，聚焦到传感器表面
- 传感器（Sensor）：光电转换，输出 RAW 数据
- ISP：RAW 数据 → 高质量图像
- 编码器（Encoder）：压缩成 JPEG/HEIF 等格式
- 应用层（Application）：显示、存储、传输、AI 分析
我在项目中遇到过不少团队，把精力全放在传感器选型和镜头设计上，结果 ISP 参数随便调调就出货。最后图像偏色、噪点满天飞，只能返工。嗯，这里要注意：传感器决定上限，ISP 决定下限。
| 组件 | 作用 | 输出 |
|---|---|---|
| 镜头 | 光学成像 | 光学图像 |
| 传感器 | 光电转换 | RAW（Bayer 格式） |
| ISP | 图像处理 | YUV/RGB 图像 |
| 编码器 | 压缩编码 | JPEG/HEIF |
| 应用层 | 显示/分析 | 屏幕图像/特征数据 |
避坑指南： 我曾经见过一个项目，传感器输出 RAW 数据有固定模式噪声（FPN），团队以为是 ISP 去噪没调好，折腾了两个月。后来发现是传感器电源纹波问题。ISP 调参前，一定要先确认传感器 RAW 数据质量。
1.3 ISP Pipeline 概述
ISP 的处理流程不是单一步骤，而是一条流水线——Pipeline。每个模块处理一个特定的图像缺陷，模块之间有严格的先后顺序。
为什么要有顺序？举个例子：你先做去噪，再做锐化，噪点被平滑了，锐化不会放大噪点。反过来，先锐化再去噪，锐化把噪点放大，去噪模块压力巨大，细节也保不住。顺序错了，效果天差地别。
下面这张图是我自己画的 ISP Pipeline 标准流程，大家先有个整体印象：
这张图我建议你保存下来。后面每一章都会对应到其中一个模块。整个 Pipeline 可以分成三大阶段：
阶段一：前处理（RAW 域）
- 黑电平校正：减去传感器暗电流带来的固定偏置
- LSC 校正：补偿镜头边缘亮度衰减（暗角）
- 去坏点：修复传感器上的死点、亮点
- 去噪：降低 RAW 域的传感器噪声
阶段二：核心处理（RGB 域）
- Demosaic：从 Bayer 格式插值出完整 RGB 图像
- 白平衡：校正色温偏差，让白色物体真正呈现白色
- Gamma 校正：调整亮度响应曲线，适配显示设备
- 色彩校正矩阵：将传感器色彩空间映射到标准色彩空间
- 色彩空间转换：RGB → YUV，分离亮度和色度
阶段三：后处理（YUV 域）
- 锐化：增强边缘对比度，提升清晰度
- 色调映射：压缩动态范围，保留高光和阴影细节
- 色彩增强：调整饱和度、色调，让画面更讨喜
- 缩放/裁剪：输出目标分辨率
重要提醒： 不同芯片厂商的 Pipeline 顺序可能有差异。比如有些方案把去噪放在 Demosaic 之后，有些放在之前。没有正确的顺序，只有适合你传感器和场景的顺序。我建议拿到新平台时，先读 datasheet 确认硬件固定的处理顺序，再决定软件可调模块的配置。
1.4 ISP 的两种实现方式
ISP 不是只有一种形态。根据应用场景，主要有两种：
| 类型 | 特点 | 典型场景 |
|---|---|---|
| 硬件 ISP | 专用芯片/IP，低功耗、低延迟、实时处理 | 手机、安防相机、车载摄像头 |
| 软件 ISP | GPU/NPU 上运行算法，灵活、可迭代 | 计算摄影、专业相机、AI 增强 |
硬件 ISP 的优势是稳。我做过一个安防项目，要求 30fps 实时处理 4K 图像，硬件 ISP 的延迟控制在 1 帧以内。软件 ISP 的优势是灵活。同样是去噪，硬件 ISP 只能调强度参数，软件 ISP 可以换算法——今天用 BM3D，明天换 DnCNN，后天再换个自研模型。
现在很多高端方案走的是混合路线：基础处理用硬件 ISP 保证实时性，部分模块（如多帧合成、AI 去噪）用软件 ISP 做增强。说白了，小孩子才做选择，成年人全都要。
1.5 本章小结
这一章我们建立了 ISP 的整体认知：
- ISP 是 RAW 到图像的转换引擎
- 它在传感器和编码器之间，决定图像质量的最终表现
- Pipeline 分为前处理、核心处理、后处理三大阶段
- 硬件 ISP 和软件 ISP 各有优劣，混合方案是趋势