1. ISP 基础概念：图像处理的大脑
各位好，我是老周。在图像行业摸爬滚打了十几年，今天咱们来聊聊 ISP——这个让 CMOS 传感器“看见”世界的核心引擎。
说白了，ISP 就是图像信号处理器（Image Signal Processor）。它负责把传感器输出的原始 RAW 数据，变成人眼看着舒服、机器能分析的图像。我刚开始接触这行时，以为 ISP 就是个简单的滤镜盒子，后来踩了不少坑才明白——它其实是整个成像链路的灵魂。
ISP 在成像链路中的位置
先看一张图，你就知道 ISP 站在哪了：
你看，ISP 夹在传感器和显示/编码之间。它不直接参与感光，但决定了图像最终长什么样。我记得有一次项目，传感器选的是索尼 IMX586，硬件参数很漂亮，但 ISP 调参没做好，出来的图还不如隔壁用低端传感器的竞品。从那以后我深刻认识到：传感器决定上限，ISP 决定下限。
ISP 的主要功能模块概览
ISP 内部不是铁板一块，而是由多个功能模块串联起来的流水线。每个模块解决一个具体问题。我按处理顺序给你捋一遍：
| 模块 | 全称 | 一句话说明 | 我踩过的坑 |
|---|---|---|---|
| BLC | Black Level Correction | 消除暗电流导致的黑电平偏移 | BLC 没校准好，暗部发紫 |
| LSC | Lens Shading Correction | 补偿镜头边缘亮度衰减和色偏 | 四角发暗，调了三天 LSC 参数 |
| AWB | Auto White Balance | 让白色在不同光源下保持白色 | 室内暖光下人脸变黄，被客户投诉 |
| Demosaic | 去马赛克 / 插值 | 从 Bayer 阵列恢复全彩图像 | 边缘锯齿，换插值算法解决 |
| CCM | Color Correction Matrix | 校正传感器色彩响应偏差 | 红色溢出，矩阵系数调了一周 |
| Gamma | Gamma 校正 | 调整亮度响应曲线，适配显示设备 | 暗部细节丢失，Gamma 曲线太陡 |
| NR | Noise Reduction | 降低图像噪声，保留细节 | 降噪太强，人脸变塑料 |
| Sharpen | 锐化 | 增强边缘对比度，提升清晰感 | 锐化过度，出现白边 |
逐个拆解：每个模块在干什么
BLC（黑电平校正）
传感器在没有光照时，像素也会输出一个非零值——这叫暗电流。BLC 就是把这个底噪减掉。我习惯在完全遮光环境下采集 100 帧取平均，算出每个像素的偏移量。嗯，这里要注意：不同增益下的暗电流不一样，得做分段校正。
LSC（镜头阴影校正）
镜头边缘进光量天生比中心少，还会带来色偏。LSC 用一张预先标定的增益图，逐像素补偿。我曾经在一个广角项目上，边缘亮度掉了 40%，LSC 增益拉太高又引入噪声——后来用了分通道、分色温的 LSC 表才搞定。
AWB（自动白平衡）
人眼有色彩恒常性，但传感器没有。AWB 要识别当前光源色温，然后调整 R/G/B 增益。我常用的方法是灰度世界 + 色温统计的混合策略。但遇到大面积单色物体（比如蓝天、绿草地），AWB 经常翻车。这时候就得靠调试经验了——我一般会加一个“场景识别”的前置判断。
Demosaic（去马赛克）
传感器每个像素只记录一种颜色（R/G/B），Demosaic 通过插值补全另外两个通道。最简单的双线性插值速度快但边缘模糊，高级的用方向自适应插值。我个人偏好边缘导向插值——计算量稍大，但画质提升明显。
CCM（色彩校正矩阵）
传感器的色彩响应和人眼不一样。CCM 是一个 3×3 矩阵，把传感器 RGB 映射到标准色彩空间（比如 sRGB）。调 CCM 是门手艺活——我一般用 24 色卡拍摄，最小二乘法拟合矩阵，然后手动微调肤色和绿色植物。
Gamma（伽马校正）
人眼对暗部变化更敏感，对亮部不敏感。Gamma 曲线把 12bit 的线性数据压缩到 8bit，同时让暗部细节更丰富。标准 Gamma 2.2 是主流，但不同场景可以微调——比如安防监控喜欢提亮暗部，手机拍照喜欢保留高光。
NR（降噪）
噪声是 ISP 的头号敌人。空域降噪（比如双边滤波）去噪快但容易糊细节；时域降噪（多帧合成）效果好但需要运动补偿。我一般先做时域降噪，再做空域降噪，最后用边缘保护层保留纹理。降噪强度宁欠勿过——降噪过度比噪声更难看。
Sharpen（锐化）
经过降噪和插值，图像会变软。锐化通过提取高频分量并叠加回原图，让边缘更锐利。常用的非锐化掩模（Unsharp Mask）简单有效。但锐化强度要控制好——我见过太多锐化过度的图，边缘出现白边，人脸像刀刻的一样。
💡 核心认知：ISP 的每个模块都不是孤立的。调 BLC 会影响暗部噪声，调 NR 会影响锐化效果，调 CCM 会影响 AWB 判断。我习惯先做粗调，再反复迭代——就像调音响，高音低音要一起调。
ISP 处理流水线（典型顺序）
不同芯片商的 ISP 流水线顺序略有差异，但大体遵循这个流程：
- RAW 域处理：BLC → LSC → 坏点校正 → AWB 增益
- Demosaic：Bayer → RGB
- RGB 域处理：CCM → Gamma → 色彩增强
- YUV 域处理：NR → Sharpen → 饱和度/对比度调整
- 输出：YUV/RGB → 编码或显示
💡 个人经验：调试 ISP 时，我习惯先关掉所有模块，只开 BLC 和 Demosaic，确认基础图像没问题。然后逐个打开其他模块，每次只调一个参数。这样出了问题能快速定位——我曾经一次性调了 5 个参数，结果图像崩了，回退花了一下午。
为什么 ISP 调优这么重要？
你想想看，同样的传感器，不同的 ISP 调参，出来的图像天差地别。我见过用同一颗 OV64B 传感器的两款手机——一款拍出来通透自然，另一款噪点满天飞、色彩偏绿。差距就在 ISP 调优上。
ISP 调优不是玄学，是工程。它需要你理解每个模块的物理意义，知道参数变化对最终图像的影响，还要有耐心反复试错。我刚开始调 ISP 时，一个参数能调一整天——现在回头看，那些弯路都是必经之路。
⚠️ 避坑提醒：不要迷信“一键调优”工具。自动调参能给你一个基础值，但真正的好图像，一定是手动微调出来的。我曾经用自动工具调了一版，实验室数据很漂亮，实际场景一测——翻车了。场景覆盖永远比实验室数据重要。