第4章：ISP Pipeline配置：TFE/IFE/BPS路径选择、RAW域处理、YUV域处理
夜景模式开发，说白了就是跟噪声和亮度做斗争。而这场斗争的主战场，就是ISP Pipeline。很多刚入行的朋友问我：“夜景模式不就是多帧合成加降噪吗？”嗯，这话对了一半。另一半在于——你选择哪条路径来处理数据，直接决定了最终画质的天花板。
今天我们就来聊聊高通平台ISP Pipeline的核心：TFE、IFE、BPS这三条路径怎么选，以及RAW域和YUV域各自该干什么活。
4.1 三条路径：TFE、IFE、BPS
高通平台的ISP架构，说白了就是三个处理单元接力干活。我习惯把它们比作一个流水线：
- TFE（Temporal Front End）：时间域前端，负责多帧对齐和初步融合
- IFE（Image Front End）：图像前端，负责RAW域的基础处理
- BPS（Bayer Processing Segment）：Bayer处理段，负责核心降噪和色彩重建
你可能会问：“为什么不能一个单元干完所有事？”
原因很简单——算力和带宽。每个单元都有自己的硬件加速器，分工明确才能跑得动4K 60fps甚至更高帧率。我在项目中遇到过，有人试图把所有降噪都塞进IFE，结果帧率直接掉了一半。
核心原则：TFE做时间域融合，IFE做RAW域预处理，BPS做精细降噪和色彩重建。各司其职，别越界。
4.2 路径选择：什么时候走哪条路？
高通平台提供了三种典型的ISP路径配置。我整理了一张表，方便你对照选择：
| 路径模式 | 适用场景 | 优势 | 劣势 |
|---|---|---|---|
| TFE → IFE → BPS | 夜景多帧合成、HDR | 时间域降噪强，动态范围大 | 延迟较高，内存占用大 |
| IFE → BPS | 普通拍照、视频预览 | 延迟低，功耗小 | 缺少时间域信息，降噪能力有限 |
| BPS直通 | 专业模式、RAW输出 | 保留最多原始信息 | 需要后处理，实时性差 |
我个人习惯，夜景模式首选TFE → IFE → BPS路径。为什么？因为夜景最缺的就是信噪比，而TFE的多帧对齐能给你额外的时间域信息，这是单帧怎么调都调不出来的。
避坑指南：我曾经在一个项目里，为了省内存走了IFE → BPS路径做夜景。结果暗部噪声压不下去，客户直接打回。后来切回TFE路径，同样的降噪参数，效果天差地别。记住——夜景模式，TFE不是可选项，是必选项。
4.3 RAW域处理：噪声的源头战场
RAW域处理，说白了就是在Bayer数据还没变成彩色之前，先把噪声干掉。为什么要在RAW域做？因为噪声在RAW域是加性的，到了YUV域就变成乘性的了，处理起来更麻烦。
RAW域的核心处理包括：
- 黑电平校正（BLC）：去掉传感器暗电流带来的固定偏移
- 镜头阴影校正（LSC）：补偿镜头边缘亮度衰减
- 坏点校正（DPC）：干掉传感器上的死点和亮点
- RAW域降噪：双边滤波、非局部均值等
这里我要特别强调RAW域降噪。很多调优工程师喜欢在YUV域猛加降噪，结果细节全糊了。我的经验是——RAW域降噪做到70%，YUV域只做剩下的30%。这样既能保住细节，又能压住噪声。
注意：RAW域降噪不能过度。过度降噪会导致Bayer信息丢失，后续demosaic出来的颜色会发“假”。我见过一个案例，RAW域降噪强度开到0.8，结果绿色草地变成了灰绿色，怎么调都调不回来。
4.4 YUV域处理：色彩和细节的最后一公里
YUV域处理，是在RAW域处理完之后，图像已经变成YUV格式了。这时候主要做三件事：
- Y通道降噪：亮度噪声，用边缘保护降噪算法
- UV通道降噪：色度噪声，用中值滤波或双边滤波
- 锐化：补偿降噪过程中损失的细节
你可能会问：“YUV域降噪和RAW域降噪有什么区别？”
区别大了。RAW域降噪是在Bayer格子上做的，每个像素只包含一种颜色信息。而YUV域降噪是在完整彩色图像上做的，亮度信息和色度信息已经分离。所以YUV域降噪可以更精细地控制——比如只降色度噪声，不动亮度细节。
我在项目中常用的YUV域降噪策略：
- Y通道：用自适应双边滤波，边缘强度阈值设低一点，保护纹理
- UV通道：用中值滤波，窗口大小3x3就够了，太大容易产生色块
- 锐化：用非锐化掩模（USM），强度控制在0.3以内，过犹不及
经验之谈：YUV域降噪最容易犯的错误是“一刀切”。我曾经在调试一个夜景项目时，Y通道降噪强度设得过高，结果星空照片里的星星全被抹掉了。后来改成根据亮度自适应——暗区强降噪，亮区弱降噪，效果才满意。
4.5 整体流程：一张图看懂
下面这张SVG图，展示了夜景模式下ISP Pipeline的完整数据流。我建议你把它存下来，调试时对照着看。
4.6 实战配置示例
最后，给一个我在项目中实际用过的TFE → IFE → BPS路径配置代码片段。注意，这只是一个模板，具体参数需要根据传感器和场景微调。
// ISP Pipeline配置示例（伪代码）
isp_config_t isp_cfg;
// 1. 选择路径
isp_cfg.pipeline_mode = PIPELINE_TFE_IFE_BPS;
// 2. TFE配置：多帧对齐
isp_cfg.tfe_config.algo_type = TFE_ALGO_MULTI_FRAME;
isp_cfg.tfe_config.frame_count = 4; // 4帧合成
isp_cfg.tfe_config.align_strength = 0.7; // 对齐强度
// 3. IFE配置：RAW域处理
isp_cfg.ife_config.blc_enable = true;
isp_cfg.ife_config.lsc_enable = true;
isp_cfg.ife_config.dpc_enable = true;
isp_cfg.ife_config.nr_strength = 0.5; // RAW域降噪强度
// 4. BPS配置：精细降噪
isp_cfg.bps_config.demosaic_mode = DEMOSAIC_HIGH_QUALITY;
isp_cfg.bps_config.nr_strength = 0.3; // BPS降噪强度
isp_cfg.bps_config.sharpen_strength = 0.2; // 锐化强度
// 5. YUV域后处理
isp_cfg.yuv_config.y_nr_strength = 0.4; // Y通道降噪
isp_cfg.yuv_config.uv_nr_strength = 0.6; // UV通道降噪
isp_cfg.yuv_config.usm_strength = 0.25; // 非锐化掩模强度调试小技巧：调参时，先把RAW域降噪强度从0.3开始往上加，每加0.1拍一张样张，观察细节和噪声的平衡点。找到平衡点后，再微调YUV域参数。别一上来就猛拉参数，容易调崩。
嗯，这一章的内容就到这里。ISP Pipeline的路径选择和域处理，是夜景模式开发的基石。你把这些搞清楚了，后面的降噪调优才能有的放矢。