4. ISP Pipeline模块详解
海思3519的ISP Pipeline是一个高度模块化的图像信号处理链路，按照处理数据的色彩空间与物理意义，可划分为四大核心域：RAW域、RGB域、YUV域以及显示处理域。每个域承担着特定的图像质量修复与增强任务，域与域之间的数据流顺序固定，且前级处理的质量直接影响后级算法的效果。理解这四大域的划分与内部模块，是进行ISP调优的基础。
核心概念： ISP Pipeline的域划分本质上是将“传感器原始信号”逐步转化为“人眼可感知的显示信号”的过程。RAW域处理传感器物理特性带来的缺陷；RGB域恢复色彩真实性；YUV域进行人眼视觉特性优化的压缩与增强；显示处理域则适配终端屏幕的物理特性。
4.1 ISP Pipeline整体架构与数据流
下图展示了海思3519 ISP Pipeline的四大域及其关键模块的串联关系。数据从左侧Sensor输入，经过RAW域、RGB域、YUV域，最终由显示处理域输出至显示设备或编码器。
4.2 RAW域处理：传感器原始信号的校正
RAW域处理的是Sensor直接输出的Bayer格式原始数据，尚未经过插值。此阶段的核心任务是消除传感器物理缺陷和光学系统引入的误差，为后续的色彩重建提供干净、线性的数据基础。
4.2.1 关键模块与功能
| 模块名称 | 功能描述 | 调优要点 |
|---|---|---|
| DPC (Defect Pixel Correction) | 检测并校正Sensor上的死点、亮点、坏点。 | 阈值设置需平衡漏检与误检；动态校正与静态校正结合。 |
| BLC (Black Level Correction) | 减去Sensor暗电流引入的黑电平偏移，恢复零光照下的真实黑位。 | 需根据Sensor温度与增益动态调整BLC值。 |
| LSC (Lens Shading Correction) | 补偿镜头中心与边缘的光照衰减（亮度阴影）和色彩偏移（色彩阴影）。 | 使用网格校准数据；注意高增益下的过校正问题。 |
| AWB Gain (白平衡增益) | 在RAW域对R/G/B通道施加增益，初步校正色温偏差。 | 增益值由AWB算法计算；过大的增益会放大噪声。 |
调优提示： RAW域处理必须保持数据的线性特性。任何非线性操作（如Gamma）在此阶段都应避免，否则会破坏后续Demosaic和CCM的数学基础。BLC和LSC的校准精度直接决定了画面均匀性。
4.2.2 RAW域处理流程图
4.3 RGB域处理：色彩重建与色彩空间转换
经过RAW域校正后的数据进入RGB域，此阶段的核心是将Bayer格式的RAW数据重建为全彩色图像，并进行色彩空间的线性变换与非线性映射，使色彩符合人眼视觉感知。
4.3.1 关键模块与功能
| 模块名称 | 功能描述 | 调优要点 |
|---|---|---|
| Demosaic (去马赛克) | 通过插值算法将Bayer格式的每个像素缺失的R/G/B分量补全，生成全彩色图像。 | 边缘方向检测算法影响伪色和锯齿；高ISO下需更强的平滑处理。 |
| CCM (Color Correction Matrix) | 通过3x3矩阵将Sensor RGB转换到标准色彩空间（如sRGB、BT.709）。 | 矩阵系数需在标准光源下校准；不同色温需切换不同CCM。 |
| Gamma 校正 | 对线性数据进行非线性映射，适应显示设备的电光转换特性（EOTF）。 | 标准Gamma 2.2；可自定义曲线以调整中间调对比度。 |
| Tone Mapping | 将高动态范围（HDR）数据压缩到标准动态范围（SDR），保留亮部和暗部细节。 | 需配合WDR模块；避免局部对比度失真和光晕效应。 |
常见误区： CCM矩阵的校准必须在线性空间进行。如果在Gamma校正之后应用CCM，会导致色彩饱和度随亮度变化，产生不可预测的色偏。正确的顺序是：Demosaic → CCM → Gamma。
4.3.2 RGB域处理流程图
4.4 YUV域处理：人眼视觉优化与降噪
RGB数据经过色彩空间转换矩阵（CSC）变换为YUV（亮度-色度）分量后，进入YUV域。此阶段利用人眼对亮度细节敏感、对色度细节不敏感的特性，进行降噪、锐化、动态范围压缩等处理，是图像质量调优的核心战场。
4.4.1 关键模块与功能
| 模块名称 | 功能描述 | 调优要点 |
|---|---|---|
| NR (降噪) | 对Y通道和UV通道分别进行空域/时域滤波，去除噪声同时保留边缘。 | 2D NR与3D NR配合；运动检测阈值影响拖影；UV降噪强度需低于Y通道。 |
| Sharpen (锐化) | 通过非锐化掩模（USM）或自适应滤波增强图像边缘与纹理细节。 | 锐化强度需与NR平衡；过冲/下冲控制防止振铃效应。 |
| WDR (宽动态) | 融合多帧曝光或单帧多曝光数据，扩展动态范围，同时保留亮暗细节。 | 融合权重曲线决定局部对比度；运动物体融合需防鬼影。 |
| 色彩/对比度调整 | 调整饱和度、色调、亮度、对比度等参数，满足主观视觉偏好。 | 需在NR之后进行，避免放大噪声；饱和度增益不宜过高。 |
联合调优策略： 降噪与锐化在YUV域构成一对矛盾。推荐的调优顺序为：先确定NR参数（特别是3D NR的时域滤波强度），再调整Sharpen的增益与阈值。在低照度场景下，应优先保证降噪效果，适当牺牲锐度。
4.4.2 YUV域处理流程图
4.5 显示处理域：输出适配与OSD叠加
显示处理域是ISP Pipeline的最后一环，负责将YUV数据转换为适合终端显示设备或编码器的格式。此阶段不改变图像的本质内容，但直接影响用户的观看体验。
4.5.1 关键模块与功能
| 模块名称 | 功能描述 | 调优要点 |
|---|---|---|
| Scaler (缩放) | 将图像分辨率缩放至目标输出分辨率（如1080P、4K）。 | 缩放系数非整数时需选择高质量插值算法（如Lanczos）；避免锯齿。 |
| Crop (裁剪) | 从原始图像中截取感兴趣区域（ROI）进行输出。 | 裁剪区域需与Sensor视场角对齐；注意分辨率对齐。 |
| OSD (On-Screen Display) | 将文字、图标、时间戳等信息叠加到视频画面上。 | OSD颜色与背景需有足够对比度；半透明OSD需处理Alpha混合。 |
| 格式转换 | 将YUV数据转换为输出接口所需的格式（如HDMI、MIPI、BT.1120）。 | 色彩空间标准需与显示设备匹配（如BT.709 vs BT.2020）。 |
工程实现注意： 海思3519的显示处理模块通常包含多个独立的视频通道（VI-VPSS-VO）。每个通道可以独立配置缩放、裁剪和OSD参数，适用于多路输出场景（如主码流、子码流、HDMI预览）。调优时需注意各通道之间的资源竞争。
4.5.2 显示处理域流程图
4.6 四大域调优优先级与协同策略
在实际的ISP调试项目中，四大域的调优并非独立进行，而是需要遵循一定的优先级和协同策略。错误的调优顺序会导致反复返工。
推荐调优顺序：
- RAW域优先： 确保BLC、LSC、DPC参数准确，这是图像质量的基石。RAW域不准，后续所有域的处理都会放大错误。
- RGB域其次： 校准CCM和Gamma曲线，确保色彩还原准确。此阶段应关闭YUV域的NR和Sharpen，避免干扰色彩判断。
- YUV域核心调优： 在RAW和RGB域稳定的基础上，进行NR与Sharpen的联合调优。先粗调NR，再细调Sharpen，最后微调WDR和色彩。
- 显示处理域最后： 确认缩放和