1. ISP概述与成像基础

各位同学好。我是老张，在图像传感器行业摸爬滚打了十几年。今天咱们开始第一讲——ISP的概述与成像基础。

说实话，我刚入行那会儿，对ISP的理解就是“黑盒子”。图像传感器扔进去raw数据，出来一张漂亮的照片。至于中间发生了什么，完全不清楚。后来踩了不少坑，才慢慢摸清门道。

这一章，咱们先把地基打牢。

什么是ISP

ISP，全称Image Signal Processor，图像信号处理器。说白了，就是把传感器捕捉到的原始数据，变成人眼看着舒服的图像。

你可能会问：传感器出来的数据不就是图像吗？

还真不是。传感器输出的raw数据，严格来说只是一堆电压值。它跟最终你看到的照片，差了十万八千里。

我在项目中遇到过不少刚毕业的工程师，以为ISP就是个滤镜库。其实远不止如此。它涉及去噪、插值、白平衡、色彩校正、伽马校正、锐化等十几个模块。每个模块都像手术刀，切得不好，整张图就废了。

ISP在相机系统中的位置

咱们先看看ISP在整个成像链路中站在哪。

从图上可以清楚看到，ISP夹在传感器和显示/编码之间。它接收的是raw数据，输出的是处理好的图像。

我个人习惯把ISP比作“翻译官”。传感器说的是“电压语言”，人眼懂的是“视觉语言”。ISP就是那个两头通吃的翻译。

人眼视觉特性与色彩科学基础

做ISP，不懂人眼视觉特性，那就是闭着眼睛开车。

人眼不是完美的传感器。它有明显的偏好和盲区。举个例子，人眼对亮度变化敏感，对颜色变化相对迟钝。这就是为什么YUV色彩空间里，Y分量（亮度）的采样率可以比UV（色度）高——YUV 4:2:0就是这么来的。

人眼特性	对ISP的影响
对亮度敏感	亮度通道保留更多细节，色度通道可以压缩
对高频细节敏感度有限	去噪时可以适当牺牲高频，人眼不太察觉
对肤色敏感	色彩校正时肤色区域要特殊处理，不能偏
对暗部噪声敏感	暗光场景去噪优先级最高
视觉暂留效应	帧率设计要考虑，避免闪烁感

我记得有一次做手机摄像头调试，客户反馈说“照片看起来假”。折腾了半天，最后发现是色彩校正矩阵把肤色拉到了标准色卡上，但人眼看着就是不舒服。后来加了肤色保护逻辑，问题才解决。

色彩科学这块，有三个概念你必须吃透：

• 色温：光源的颜色温度，单位K。日光约5500K，白炽灯约3200K。ISP的白平衡模块就是干这个的。
• 色彩空间：sRGB、Adobe RGB、DCI-P3……不同设备用不同的色彩空间。ISP要负责把传感器捕获的色彩映射到目标空间。
• 伽马校正：人眼对亮度的感知是非线性的。伽马校正就是做这个非线性映射，让图像看起来自然。

电磁波谱与传感器响应

人眼能看到的电磁波，只是很窄的一段——380nm到780nm。这就是可见光。

传感器呢？它比人眼“看”得宽。典型的CMOS传感器对近红外（NIR）也有响应，波长能到1000nm以上。

这就带来一个问题：如果不加滤光片，传感器拍出来的图像会偏红，因为红外光也参与了成像。

所以，传感器前面必须加IR-Cut滤光片，把红外光挡掉。但注意，IR-Cut不是完美的，总会有漏网之鱼。这就是为什么ISP里还要做“红外抑制”算法。

传感器的响应曲线不是平的。它对不同波长的光，灵敏度不一样。一般来说，对绿光最敏感，红光和蓝光次之。这就是为什么Bayer阵列里绿色像素占了一半——人眼对绿色最敏感，传感器也是。

小结

这一章咱们聊了四个核心问题：

• ISP是什么——图像信号处理器，raw数据到漂亮图像的桥梁
• ISP在哪——传感器之后，显示/编码之前，成像链路的核心
• 人眼怎么看——亮度敏感、肤色敏感、非线性感知，ISP要迎合这些特性
• 传感器怎么感——响应范围比人眼宽，需要滤光片和算法配合

这些是ISP的底层逻辑。后面每一章，都会回到这些基础上来。地基打牢了，后面盖楼才稳。