1. ISP 基础概念：从光子到数字图像的第一公里
各位工程师朋友，咱们今天聊聊 ISP。很多人一听到 ISP 就头大，觉得这是算法工程师的事。其实不然——你调试摄像头、选 sensor、调图像效果，天天都在跟 ISP 打交道。
ISP 是什么？说白了，就是 Image Signal Processor（图像信号处理器）。它的任务很简单：把 sensor 捕捉到的原始电信号，变成人眼看着舒服的数字图像。嗯，听着简单，做起来可一点都不简单。
1.1 什么是 ISP？
我习惯把 ISP 理解成「图像世界的翻译官」。Sensor 输出的 RAW 数据，本质上是一堆电压值——每个像素点记录的是该位置的光强信息。但人眼要看的，是色彩、细节、亮度都自然的画面。ISP 就是负责完成这个翻译过程的硬件或软件模块。
核心要点：ISP 不是单一算法，而是一整套图像处理流水线（Pipeline）。它包含去噪、去马赛克、白平衡、色彩校正、伽马校正、锐化等数十个模块。
我在项目中遇到过不少刚入行的工程师，以为 ISP 就是「调调亮度、改改颜色」。其实远不止这些。一个成熟的 ISP Pipeline，往往需要几十个参数协同工作，牵一发而动全身。
1.2 ISP 在成像链路中的位置
要理解 ISP，先得搞清楚它在整个成像链路里站哪。你想想看，从按下快门到屏幕上出现照片，中间经历了什么？
- 场景（自然光/人造光照射物体）
- 镜头（Lens）—— 聚焦光线
- 传感器（Sensor）—— 光电转换，输出 RAW 数据
- ISP —— 处理 RAW，输出 YUV/RGB
- 编码/存储/显示 —— JPEG 压缩、屏幕渲染
ISP 就卡在 sensor 之后、编码显示之前。这个位置非常关键——它决定了最终图像的质量上限。Sensor 再好，ISP 调不好，画面照样一塌糊涂。
个人经验：我曾经调试一款 8M 的 sensor，RAW 数据信噪比很高，但 ISP 的降噪参数没配好，最终画面反而比隔壁用低端 sensor 的竞品还差。从那以后，我每次调试都先确认 ISP Pipeline 各模块是否协同工作，而不是只盯着 sensor 本身。
1.3 ISP Pipeline 概述：RAW 域、RGB 域、YUV 域
ISP Pipeline 通常分为三个处理阶段，每个阶段处理不同色彩空间的数据。我画了一张图，帮你快速建立整体认知。
RAW 域
RAW 域是 ISP 的第一站。Sensor 输出的 RAW 数据，每个像素只记录一种颜色（R、G 或 B），排列成 Bayer 模式。这个阶段的数据最「原始」，也最「诚实」——没有经过任何人为修饰。
RAW 域主要处理什么？我列几个关键模块：
| 模块 | 作用 | 我的经验 |
|---|---|---|
| 黑电平校正（BLC） | 消除 sensor 暗电流导致的偏置 | 不同温度下黑电平会漂移，我习惯在产线做温度补偿 |
| 坏点校正（DPC） | 修复 sensor 上的死点/亮点 | 动态坏点检测比静态表更可靠，但计算量大 |
| 去噪（NR） | 降低 sensor 读出噪声 | RAW 域去噪要保守，过度去噪会丢失细节 |
| 镜头阴影校正（LSC） | 补偿镜头边缘亮度衰减 | 广角镜头阴影严重，增益太大会引入噪声 |
| 去马赛克（Demosaic） | 从 Bayer 插值出完整 RGB | 边缘方向判断是关键，伪彩色是常见问题 |
避坑指南：我曾经在 RAW 域把降噪开得太猛，结果 Demosaic 之后边缘全是锯齿。后来才明白——RAW 域的噪声和细节是「共生」的，降噪强度必须和 sensor 的读出噪声水平匹配。建议先用 flat field 图测出 sensor 的本底噪声，再定降噪参数。
RGB 域
经过 Demosaic 之后，每个像素都有了完整的 R、G、B 三个通道。这时候数据进入了 RGB 域。RGB 域是色彩处理的主战场——人眼对色彩非常敏感，这里调不好，画面就会「偏色」或「假」。
RGB 域的核心模块：
- 自动白平衡（AWB）：让白色物体在不同光源下都呈现白色。我调试时喜欢用灰卡做参考，但实际场景中光源复杂，AWB 算法很容易翻车。
- 色彩校正矩阵（CCM）：把 sensor 的色彩空间映射到标准色彩空间（如 sRGB）。不同 sensor 的光谱响应不同，CCM 系数要单独标定。
- 伽马校正（Gamma）：调整亮度响应曲线，适配显示设备的非线性特性。标准 Gamma 2.2 是主流，但 HDR 场景可能需要更复杂的曲线。
- 色调映射（Tone Mapping）：把高动态范围压缩到低动态范围，保留亮部和暗部细节。
小技巧：调试 AWB 时，我习惯先锁定色温，再微调增益。很多工程师一上来就调 R/G/B 增益，结果越调越乱。先确定光源色温，再微调，效率高得多。
YUV 域
RGB 域处理完之后，数据会转换到 YUV 色彩空间。Y 是亮度分量，U 和 V 是色度分量。为什么要转 YUV？两个原因：
- 人眼对亮度更敏感，对色度不太敏感。YUV 域可以独立处理亮度和色度，效率更高。
- 编码压缩需要，JPEG、H.264 等编码器都工作在 YUV 域。
YUV 域的主要处理：
| 模块 | 说明 |
|---|---|
| 边缘增强（Sharpening） | 提升 Y 通道的高频分量，让画面更清晰 |
| 色度降噪 | 对 U/V 通道做降噪，减少色斑 |
| 饱和度调整 | 控制色彩鲜艳程度 |
| 对比度调整 | 拉伸亮度动态范围 |
| 缩放/裁剪 | 输出目标分辨率 |
注意：YUV 域的锐化要谨慎。锐化过度会产生「光晕」和「振铃」效应，尤其在文字和边缘区域。我一般先做边缘检测，只在边缘区域做锐化，平坦区域保持原样。
1.4 三域处理的协作关系
三个域不是孤立的，它们之间有严格的先后顺序。RAW 域处理的是 sensor 的「物理缺陷」，RGB 域处理的是「色彩准确性」，YUV 域处理的是「视觉观感」。顺序错了，效果就会出问题。
举个例子：如果你在 YUV 域做降噪，但 RAW 域的坏点没校正，那坏点经过 Demosaic 和色彩校正后，会扩散成一片彩色斑点，YUV 域根本救不回来。所以我的调试顺序永远是：先 RAW 域，再 RGB 域，最后 YUV 域。
总结一句话：ISP 调试的本质，就是在 RAW 域修复 sensor 的「硬伤」，在 RGB 域校准色彩的「准度」，在 YUV 域优化画面的「观感」。三个域各司其职，缺一不可。
好了，这一章的内容就到这里。ISP 的基础概念先建立起来，后面我们会逐个模块深入讲解。记住，理解 Pipeline 的整体结构，比死记硬背参数重要得多。