📚 课程目录第2章移动端ISP基础

2. 移动端ISP基础

移动端ISP（Image Signal Processor，图像信号处理器）是相机链路中承上启下的核心计算单元。它接收来自图像传感器的原始数据，经过一系列算法处理后，输出可供显示、编码或算法分析使用的图像。理解ISP在链路中的位置、数据格式的演进以及硬件架构的差异，是后续进行算法适配与工程落地的前提。

一、ISP在相机链路中的位置

从光子到最终图像，移动端相机链路大致经过以下环节：镜头 → 图像传感器（Sensor）→ MIPI CSI-2 传输 → ISP → 显示/编码/AI分析。Sensor负责光电转换和模数转换，输出的是每个像素只有一个颜色分量的Bayer RAW数据；ISP则负责将这种“不完整”的原始数据还原为符合人眼感知的彩色图像。

在移动端SoC中，ISP通常以硬件加速器形式集成，与CPU、GPU、NPU、DSP并列。部分平台还提供“外挂ISP”或“协处理器ISP”方案，用于分担主ISP的算力压力。ISP的输入输出接口、时钟域、带宽预算，直接决定了相机链路的帧率、分辨率和功耗上限。

二、Bayer格式：RAW数据的组织方式

Bayer格式是当前绝大多数CMOS传感器采用的彩色滤波阵列（CFA）方案。它在每个像素上只覆盖一种颜色的滤光片，按 2×2 重复单元排列，常见模式有 RGGB、BGGR、GRBG、GBRG 四种。以 RGGB 为例，第一行是 R、G，第二行是 G、B，绿色像素数量是红蓝的两倍，这与人类视觉对绿色更敏感的特性相匹配。

Bayer数据的每个像素只有 8/10/12/14/16 bit 的单一分量，因此数据量约为同分辨率RGB的三分之一。但这也意味着它不能直接用于显示，必须经过去马赛克（Demosaic）插值恢复缺失的颜色分量。在移动端，Bayer RAW通常以 MIPI 打包格式传输，常见的有 RAW8、RAW10、RAW12、RAW14，其中 RAW10 和 RAW12 在中高端手机中最为普遍。

Bayer 排列示例（RGGB）：

R  G  R  G  R  G
G  B  G  B  G  B
R  G  R  G  R  G
G  B  G  B  G  B

三、色彩空间：从设备相关到感知均匀

色彩空间是描述颜色的一组数学模型。在ISP链路中，常见的色彩空间包括：

sRGB：显示与网络图像的标准色彩空间，设备相关，适合最终输出。
Linear RGB：线性光空间，用于ISP内部做白平衡、色彩校正等线性运算。
YUV：亮度（Y）与色度（U/V）分离，广泛用于视频编码、显示和AI推理输入。
Lab / XYZ：感知均匀或设备无关空间，常用于色彩质量评估与算法调优。

ISP内部通常先在线性RGB域完成白平衡和色彩校正矩阵（CCM），再通过Gamma编码转换到非线性域，最后转为YUV输出。这个顺序不能随意颠倒，否则会导致色彩失真或动态范围压缩异常。

四、RAW域与YUV域：算法适配的分水岭

RAW域和YUV域是移动端ISP算法适配中最重要的两个工作域，它们的特性差异直接决定了算法选型与部署策略。

对比维度	RAW 域	YUV 域
数据形态	Bayer 单通道，每像素 1 个分量	多通道，Y/U/V 分离，常见 4:2:0
信息完整度	保留传感器原始响应，动态范围高	已压缩、已Gamma，信息有损
典型算法	去噪、HDR融合、去马赛克、镜头阴影校正	美颜、风格化、超分、目标检测
算力与带宽	数据量大，对内存带宽要求高	数据量小，适合NPU/GPU部署
调试难度	高，需理解Sensor响应与标定	低，视觉效果直观

工程建议：如果算法目标是提升画质上限（如暗光降噪、HDR），优先在RAW域处理；如果目标是语义理解或风格化（如人像分割、滤镜），在YUV域处理更经济。两者并非互斥，现代移动端ISP常采用RAW域预处理 + YUV域后处理的混合流水线。

五、常见硬件架构

移动端ISP的硬件架构主要分为三类：

SoC集成ISP：ISP作为SoC内部固定功能模块，与CPU/GPU/NPU共享内存与总线。优点是功耗低、延迟小；缺点是算法固化，难以灵活升级。
外挂ISP：独立芯片，通过MIPI或PCIe与主SoC连接。优点是算力可扩展、支持多摄并发；缺点是成本高、功耗大、链路复杂。
可编程ISP / DSP方案：以DSP或NPU为核心，用软件定义ISP流水线。优点是算法迭代快、支持新特性；缺点是对开发者要求高，需处理实时性与功耗平衡。

常见误区：不少开发者认为“ISP只是硬件，算法适配就是调参数”。实际上，移动端ISP适配涉及数据格式对齐、内存布局、时钟域同步、带宽预算、功耗墙等多重约束。忽略这些约束，算法在PC上跑通，在手机上可能直接掉帧或发热降频。

六、案例：一次RAW域降噪的适配复盘

某项目在RAW域部署降噪算法，PC仿真PSNR提升2.1dB，但手机端实测帧率从30fps掉到18fps。排查发现：算法按RGB三通道处理，而RAW输入是单通道Bayer，导致内存访问模式不连续，带宽放大三倍。修正方案是：先将Bayer按通道分离为四个子图，分别降噪后再合并，同时将中间缓存从DDR改为片上SRAM。最终帧率恢复到28fps，画质提升保留1.8dB。

这个案例说明：RAW域算法适配必须尊重Bayer数据布局和移动端内存层级，否则算力再强也会被带宽拖垮。