1. ISP 基础概念：什么是 ISP、ISP 在成像系统中的位置、ISP Pipeline 整体流程概览
各位同学，咱们今天正式开讲 ISP。说实话，我做了十几年图像处理，每次跟新人聊 ISP，第一反应都是：「这玩意儿到底是个啥？」
好，咱们不绕弯子，直接上干货。
1.1 什么是 ISP？
ISP，全称 Image Signal Processor，图像信号处理器。说白了，它就是把 CMOS 传感器拍出来的「原始数据」变成「你能看的照片」的那套硬件+算法。
你想想看，手机摄像头拍一张照片，传感器输出的是一堆 RAW 数据——每个像素只有一种颜色（R/G/B），而且还有噪声、暗角、偏色。这玩意儿直接给你看，你肯定骂街。ISP 就是干这个脏活累活的。
核心定义：ISP 是一个从 RAW 域到 RGB/YUV 域的图像重建与增强系统。它负责去噪、插值、白平衡、色彩校正、锐化等一系列操作。
我个人习惯把 ISP 比作「暗房里的修图师」。只不过这个修图师是硬件实现的，每秒钟要处理几十帧甚至上百帧图像，而且不能出错。
1.2 ISP 在成像系统中的位置
咱们先看看 ISP 在整个成像链路里站在哪。我画了一张图，你一看就明白。
你看，镜头负责聚光，传感器负责把光转成电信号（RAW 数据），然后 ISP 接手，最后输出给编码器或者屏幕。ISP 就是中间那个「翻译官+修图师」。
我记得刚入行那会儿，有个项目传感器选型出了问题，RAW 数据噪声大得离谱。我当时天真地以为「后期算法能救」，结果 ISP 调了三个月，画质还是拉胯。后来才明白——ISP 不是万能的，前端的硬件质量决定了 ISP 的天花板。
1.3 ISP Pipeline 整体流程概览
好，咱们进入正题。ISP Pipeline 到底长什么样？
我直接给你一个标准流程，这是业界最通用的架构。不同厂商（高通、联发科、海思、安霸）会有微调，但骨架基本一致。
| 阶段 | 模块 | 输入 | 输出 | 核心作用 |
|---|---|---|---|---|
| 1 | 黑电平校正 (BLC) | RAW | 校正后 RAW | 去除传感器暗电流偏移 |
| 2 | 镜头阴影校正 (LSC) | 校正后 RAW | 均匀亮度 RAW | 补偿镜头边缘亮度衰减 |
| 3 | 坏点校正 (DPC) | 均匀 RAW | 干净 RAW | 修复传感器死点/亮点 |
| 4 | 去噪 (NR) | 干净 RAW | 低噪 RAW | 降低传感器读出噪声 |
| 5 | 去马赛克 (Demosaic) | 低噪 RAW | RGB | 从拜耳阵列重建全彩色 |
| 6 | 白平衡 (AWB) | RGB | 色温校正 RGB | 消除光源色温影响 |
| 7 | 色彩校正 (CCM) | 校正后 RGB | 标准色域 RGB | 从传感器色域映射到标准色域 |
| 8 | Gamma 校正 | 线性 RGB | 非线性 RGB | 适配人眼视觉特性 |
| 9 | 锐化 (Sharpening) | Gamma 后 RGB | 增强 RGB | 提升边缘清晰度 |
| 10 | 色彩空间转换 (CSC) | RGB | YUV | 转为亮色分离格式 |
我的经验：实际项目中，去噪和锐化是一对「冤家」。去噪太狠，细节没了；锐化太猛，噪声放大了。我调过一款安防摄像头，为了在低照度下保持清晰度，光 NR 和 Sharpening 的平衡就调了两周。你后面会学到，这叫「去噪-锐化权衡」，是 ISP 调优的核心难题之一。
咱们再画一张流程图，把 Pipeline 串起来看。
1.4 三个域，三种思维
从上面的图你能看到，ISP Pipeline 天然分成三个域：RAW 域、RGB 域、YUV 域。每个域的处理逻辑完全不同。
- RAW 域：数据最原始，每个像素只有一种颜色。处理的是传感器本身的缺陷（黑电平、阴影、坏点、噪声）。说白了，这是「修传感器」的阶段。
- RGB 域：数据已经变成全彩色了。处理的是颜色相关的问题（白平衡、色彩校正、Gamma）。这是「修颜色」的阶段。
- YUV 域：亮度和颜色分开了。处理的是人眼感知相关的问题（锐化、色度增强）。这是「修观感」的阶段。
我曾经踩过的坑：有一次我把去噪模块放在了 RGB 域之后，结果发现颜色边缘出现了奇怪的伪影。后来查资料才明白——RAW 域的噪声是「独立于颜色的」，而 RGB 域的噪声是「耦合在颜色通道里的」。去噪必须放在 RAW 域，否则颜色信息会被破坏。这个教训让我记住了：模块的顺序不是随便排的，背后有深刻的信号处理原理。
1.5 为什么 ISP 这么重要？
你可能会问：现在手机拍照都靠 AI 了，ISP 是不是过时了？
嗯，这个问题我经常被问到。我的回答是：AI 是 ISP 的增强，不是替代。
你看现在的旗舰手机，ISP 硬件越来越强，AI 算法也越来越重。但 AI 处理的是「已经经过 ISP 初步处理的数据」。如果 ISP 输出的 RAW 数据质量太差，AI 也救不回来——这叫「垃圾进，垃圾出」。
我举个例子：你让 AI 做超分辨率，如果输入图像本身有严重的镜头阴影和坏点，AI 会把阴影和坏点也「超分」得清清楚楚。你说这能看吗？
所以，ISP 是成像系统的地基，AI 是上面的精装修。地基不稳，装修再好也白搭。
1.6 本章小结
咱们这一章就讲这些。你记住三件事：
- ISP 是什么：把 RAW 变成好看照片的硬件+算法系统。
- ISP 在哪：传感器之后，编码/显示之前，是成像链路的中间环节。
- Pipeline 长啥样：RAW 域 → RGB 域 → YUV 域，每个域有各自的模块和逻辑。