高通Camera HDR多帧融合调试与画质优化 - 第2节
2.1 高通ISP Pipeline概述
高通Camera平台的图像信号处理（ISP）Pipeline是一条从传感器原始数据到最终YUV/RGB图像的完整处理链路。理解Pipeline的架构是配置多帧融合参数的前提，因为融合模块的输入输出位置直接决定了数据格式、时序约束和调优方向。
核心概念：高通ISP Pipeline采用“分阶段、可编程”的设计，每个阶段（Node）负责特定的图像处理任务，并通过硬件加速器或DSP执行。多帧融合通常位于RAW域处理之后、YUV域处理之前。
2.1.1 Pipeline主要阶段
下表列出了高通ISP Pipeline中与HDR多帧融合直接相关的关键阶段及其功能：
| 阶段名称 | 处理域 | 主要功能 | 与多帧融合的关系 |
|---|---|---|---|
| Sensor | RAW | 原始数据输出（Bayer/Quad Bayer） | 提供不同曝光时间的输入帧 |
| IFE (Image Front End) | RAW | 坏点校正、黑电平补偿、线性化 | 融合前的预处理，保证数据一致性 |
| BPS (Bayer Processing Segment) | RAW | 多帧对齐、融合、降噪 | 多帧融合核心执行位置 |
| IPE (Image Processing Engine) | YUV | 颜色校正、Gamma、锐化 | 融合后处理，输出最终图像 |
| Display/Encoder | YUV/RGB | 显示或编码输出 | 最终结果呈现 |
调试提示：BPS阶段是高通平台多帧HDR的“心脏”。所有关于融合权重、运动补偿、鬼影消除的参数都在BPS的tuning文件中配置。调优时，应首先确认BPS是否被正确使能，以及输入帧的曝光比是否符合BPS的预期范围。
2.2 Camera子系统模块划分
从软件架构角度看，高通Camera子系统分为三个主要层次：用户空间（User Space）、内核空间（Kernel Space）和硬件抽象层（HAL）。多帧融合的配置参数主要在HAL层和用户空间的Tuning工具中流转。
2.2.1 模块层次与职责
- 应用层（App）：发起拍照请求，指定HDR模式（如自动HDR、强制HDR）。
- Camera HAL3：实现Android Camera API，管理Pipeline的创建与销毁，下发融合参数到底层。
- Chi (Camera Hardware Interface)：高通自定义的HAL扩展层，负责将Tuning参数解析并绑定到具体的ISP Node。
- Kernel Driver：控制传感器、ISP硬件寄存器，执行实际的帧采集与处理。
- ISP Firmware：运行在ISP协处理器上的固件，执行BPS/IPE等硬件加速算法。
常见误区：很多调试者误以为修改了HAL层的参数就一定能生效。实际上，多帧融合的最终执行体是ISP Firmware，HAL层参数必须通过Chi驱动正确下发到Firmware的寄存器映射中。如果Chi管线配置错误，参数会被静默忽略。
2.3 多帧融合在Pipeline中的位置
多帧融合（Multi-Frame Fusion）在高通Pipeline中位于BPS阶段，具体位置在RAW域的运动对齐之后、YUV域的色调映射之前。下图展示了融合模块在完整Pipeline中的精确位置：
2.3.1 融合位置的关键意义
多帧融合被放置在BPS阶段而非IPE阶段，具有以下工程考量：
- RAW域数据保真度最高：在去马赛克（Demosaic）之前进行融合，可以避免颜色插值引入的误差被放大。
- 线性空间融合：RAW数据处于线性光响应区间，融合权重可以物理意义明确地控制信噪比和动态范围。
- 运动对齐更准确：BPS阶段使用原始Bayer模式进行运动估计，避免了YUV域色度分量对运动检测的干扰。
实战要点：在调试多帧融合时，务必确认BPS的输入帧是否已经过IFE的线性化处理。如果线性化参数（如黑电平、镜头阴影校正）不准确，融合后的图像会出现亮度跳变或颜色偏色。建议在开始融合调优前，先单独验证单帧RAW的线性度。
2.4 多帧融合的输入输出约束
了解融合在Pipeline中的位置后，还需要掌握其输入输出格式约束，这是配置参数的基础：
| 属性 | 输入要求 | 输出特性 |
|---|---|---|
| 数据格式 | RAW10 / RAW12（Bayer或Quad Bayer） | RAW10 / RAW12（与输入相同位宽） |
| 帧数 | 2~3帧（短曝光+长曝光，或再加中曝光） | 单帧融合结果 |
| 分辨率 | 所有输入帧分辨率必须一致 | 与输入分辨率相同 |
| 曝光比范围 | 通常 4x ~ 16x（短:长） | 融合后动态范围扩展至单帧的 2~3 档 |
| 时序要求 | 帧间间隔 < 1行时间（避免运动错位） | 融合延迟通常为 1~2 帧 |
调试建议：如果使用3帧融合（短、中、长曝光），建议曝光比设置为 1:4:16 或 1:8:64，这样可以在不增加运动伪影风险的前提下，最大化动态范围。曝光比过大（如超过32x）会导致长帧噪声过大，融合后暗部细节反而变差。
2.5 本章小结
高通Camera架构中，多帧融合位于BPS阶段的RAW域处理环节，介于IFE预处理和IPE后处理之间。理解这一位置有助于调试者明确：
- 融合参数（曝光比、权重、运动阈值）在BPS的tuning文件中配置。
- 输入数据必须是线性RAW，且经过黑电平校正和线性化。
- 输出为单帧RAW，后续由IPE完成颜色和锐化处理。
- 软件架构中，Chi层负责将Tuning参数传递到ISP Firmware，任何参数修改都需要验证是否被正确加载。