1. 课程导入
当你用手机拍下一张夜景照片，或在相机屏幕上回放一段视频时，从传感器捕获光子到最终呈现出一幅色彩自然、细节清晰的图像，中间经历了一条高度工程化的处理链路。这条链路的核心，就是图像信号处理（Image Signal Processing，ISP）。它负责把传感器输出的原始马赛克数据，逐步转换为符合人眼感知、可被显示或存储的图像信号。
一、ISP 的核心原理与处理对象
图像传感器（CMOS/CCD）本身只能感知光强，无法直接分辨颜色。绝大多数传感器在每个像素上只覆盖一种颜色的滤光片，按 Bayer 阵列排列为 RGGB、BGGR、GRBG 等模式。因此，ISP 的第一要务是去马赛克（Demosaic），通过邻域像素插值恢复每个像素缺失的两个颜色分量，得到完整的 RGB 图像。
但去马赛克只是起点。传感器在光电转换、模拟增益、模数转换过程中会引入暗电流、固定模式噪声、镜头阴影、色差、坏点等问题；同时，人眼对亮度、对比度、色彩的感知具有非线性特征。ISP 需要在有限算力与功耗约束下，依次完成黑电平校正、镜头阴影校正、坏点校正、白平衡、色彩校正、伽马、降噪、锐化、色调映射等处理。其本质是一个多级串联的信号重建与感知优化问题：每一级都在修正前一级的缺陷，同时为后一级准备更合适的数据形态。
二、发展历程：从独立芯片到计算摄影
ISP 的形态经历了几个明显阶段。早期数码相机中，ISP 由专用 ASIC 或 DSP 承担，处理流程固定、参数可调范围有限，主要解决“能出图”的问题。随着手机摄像头像素提升和视频需求增长，ISP 开始集成到 SoC 中，形成硬件流水线加固件参数调优的模式。近年来，计算摄影兴起，多帧合成、语义分割、AI 降噪等算法被引入 ISP 前后端，ISP 逐渐从单纯的信号处理单元演变为软硬件协同的图像质量平台。
| 阶段 | 典型形态 | 核心目标 | 关键限制 |
|---|---|---|---|
| 早期数码相机 | 独立 ISP ASIC | 基础去马赛克与色彩还原 | 流程固定、算力低 |
| 手机 ISP 集成期 | SoC 内置硬件 ISP | 高像素、多摄像头、视频实时处理 | 功耗与带宽压力 |
| 计算摄影阶段 | ISP + NPU + 多帧合成 | 夜景、HDR、人像虚化、AI 降噪 | 算法复杂度与一致性 |
三、应用领域与典型场景
ISP 并不只服务于手机。安防监控要求低照度下仍能识别车牌与人员，车载摄像头强调高动态范围与低延迟，工业视觉关注色彩一致性与缺陷检测的稳定性，医疗内窥镜则对色彩还原和噪声控制有严苛要求。不同场景对 ISP 的侧重点差异很大：
- 手机摄影：追求观感讨喜，强调夜景、HDR、人像肤色与视频防抖。
- 安防监控：优先低照度信噪比、宽动态与长时间稳定性。
- 车载视觉：要求高动态、低延迟、功能安全与多路同步。
- 工业检测：重视色彩准确性、重复性与可量化指标。
四、案例：一张夜景照片的 ISP 处理路径
假设手机在夜间拍摄一张照片，传感器输出 RAW 数据。ISP 首先进行黑电平校正，去除暗电流偏置；随后进行镜头阴影校正，补偿边缘亮度下降；接着通过白平衡估计光源色温，校正偏色；去马赛克后进入 RGB 域，进行色彩校正矩阵变换、伽马编码与多帧降噪。由于夜景噪声大，ISP 可能联合 NPU 进行多帧对齐与合成，再通过局部色调映射提升暗部、压制高光，最后锐化并输出 JPEG。
输入: Bayer RAW (10bit/12bit)
→ 黑电平校正 (BLC)
→ 镜头阴影校正 (LSC)
→ 坏点校正 (DPC)
→ 自动白平衡 (AWB)
→ 去马赛克 (Demosaic)
→ 色彩校正矩阵 (CCM)
→ 伽马 (Gamma)
→ 多帧降噪 (MFNR)
→ 色调映射 (Tone Mapping)
→ 锐化 (Sharpen)
输出: YUV / JPEG五、常见误区与复盘
误区一：ISP 只是“调颜色”。实际上，ISP 首先解决的是信号重建问题，色彩只是其中一环。若黑电平、坏点、阴影未处理好，后续色彩调优会事倍功半。
误区二：算法越复杂画质越好。复杂算法带来算力、功耗与延迟代价，还可能引入伪影。工程上需要在画质、实时性与资源之间取得平衡。
误区三：只看单帧效果，忽略一致性。视频场景中，帧间闪烁、白平衡跳变、降噪拖影往往比单帧噪声更影响观感。评测时应同时关注时域稳定性。
本课程后续将围绕这条信号链展开：从传感器与 RAW 数据基础，到去马赛克、白平衡、色彩校正、降噪、锐化、色调映射，再到硬件加速、评测方法与场景实战。你将逐步建立从原理到调优、从算法到工程的完整认知。