1. ISP 基础认知：什么是 ISP、它在相机系统中的位置、Pipeline 概览
大家好，我是你们这期课程的老朋友。做 ISP 这行十几年了，踩过的坑比走过的路还多。今天咱们先不急着上手调参数，先把地基打牢。
什么是 ISP？说白了，就是 Image Signal Processor，图像信号处理器。它的任务很简单——把 CMOS 传感器输出的原始数据，变成人眼看着舒服、或者机器能分析的数字图像。
你想想看，传感器出来的 RAW 图，灰蒙蒙的，偏色，噪点还多。这玩意儿能直接给人看吗？不能。ISP 就是干这个脏活累活的。
一句话总结：ISP 是连接物理世界与数字视觉的桥梁。没有它，再好的传感器也白搭。
1.1 ISP 在相机系统中的位置
我习惯把整个相机系统分成三块：光学模组、传感器、ISP。这三者缺一不可。
- 光学模组：镜头、马达、滤光片。负责把光线汇聚到传感器上。
- 传感器：CMOS/CCD。把光信号转成电信号，输出 RAW 数据。
- ISP：把 RAW 数据加工成 YUV/RGB 图像。
在实际项目中，ISP 可能是一个独立的芯片（比如手机里的 ISP），也可能是 SoC 里的一颗 IP，或者干脆是 GPU 上跑的算法。但不管形态怎么变，它在系统中的位置是固定的——传感器之后，显示或编码之前。
我记得有一次做安防摄像头项目，客户非要省成本，把 ISP 模块砍了，直接用传感器直出。结果画面噪点满天飞，晚上根本没法看。后来还是老老实实加回来了。嗯，有些钱真不能省。
项目经验：选型时一定要确认 ISP 的处理能力是否匹配传感器分辨率。我曾经遇到过 ISP 带宽不够，导致 4K 画面只能降级到 1080p 处理的情况。
1.2 ISP Pipeline 概览
ISP 的处理流程，业内叫 Pipeline。不同厂商的 Pipeline 大同小异，核心模块就那么几个。我画了一张图，帮你快速建立整体认知。
这张图我故意没画得太复杂。实际商用 ISP 可能有几十个模块，但核心逻辑就这三段：前端校正 → 颜色处理 → 后处理增强。
1.3 各模块速览
下面这个表格，帮你快速了解每个模块是干什么的。我建议你收藏起来，后面章节会反复用到。
| 模块 | 英文缩写 | 一句话说明 | 常见问题 |
|---|---|---|---|
| 黑电平校正 | BLC | 去掉传感器暗电流带来的固定偏置 | 暗部偏色、黑场不黑 |
| 去噪 | NR | 降低传感器读出噪声和光子噪声 | 细节丢失、涂抹感 |
| 坏点校正 | DPC | 修复传感器上的死点/亮点 | 坏点残留、误判正常点 |
| 去马赛克 | Demosaic | 从 Bayer 格式插值出全彩 RGB | 伪色、锯齿、摩尔纹 |
| 白平衡 | AWB | 让白色在不同光源下看起来是白的 | 偏黄、偏蓝、场景误判 |
| 颜色校正 | CCM | 把传感器颜色空间映射到标准色域 | 肤色偏紫、红色溢出 |
| Gamma 校正 | — | 调整亮度响应曲线，适配显示设备 | 暗部死黑、亮部过曝 |
| 锐化 | — | 增强边缘对比度，提升清晰感 | 振铃、光晕、噪点放大 |
避坑指南：我曾经在一个项目中，为了追求低延迟，把去噪模块的强度调得特别低。结果画面噪点太多，导致后面的白平衡和颜色校正全部跑偏。后来我学乖了——前端校正没做好，后端再怎么调也救不回来。
1.4 为什么 ISP 这么重要？
你可能会问：现在 AI 算法这么强，能不能直接用神经网络替代 ISP？
我的回答是：可以，但不现实。
纯 AI 方案的问题在于：
- 功耗高：跑一个去噪网络，功耗可能是传统 ISP 的 10 倍以上。
- 延迟大：手机拍照可以等 0.5 秒，但视频通话不能等。
- 泛化差：换一个传感器，模型就得重新训练。
所以目前业界的主流做法是：传统 ISP 做基础处理，AI 做锦上添花。比如用传统方法去噪，再用 AI 做超分辨率。这个思路，后面章节我会详细展开。
个人习惯：我每次接手一个新项目，第一件事就是先把 ISP Pipeline 的每个模块单独测一遍。确保每个模块都正常工作了，再开始联调。这个习惯帮我省了至少一半的 debug 时间。
1.5 本章小结
这一章我们聊了三个核心问题：
- ISP 是什么：图像信号处理器，把 RAW 数据变成人眼可看的图像。
- 它在哪：传感器之后，显示/编码之前。
- Pipeline 长什么样：前端校正 → 颜色处理 → 后处理增强。