📚 课程目录第3章 ISP Pipeline中的HDR位置

3、ISP Pipeline中的HDR位置：HDR Merge模块在ISP硬件流水线中的位置与前后级关系

在典型的ISP硬件流水线中，HDR Merge模块并非独立存在，而是嵌入在RAW域处理与RGB域处理之间的关键环节。其前后级模块的功能直接影响HDR Merge的输入数据质量与输出数据格式。理解HDR Merge在流水线中的精确位置，是配置帧对齐算法与曝光时间参数的前提。

下图展示了ISP硬件流水线中HDR Merge模块的标准位置。该位置通常位于BLC（黑电平校正）与Demosaic（去马赛克）之间，属于RAW域处理的后段。

关键提示：HDR Merge模块的输入是多帧RAW数据（通常为2~3帧，曝光时间不同），输出是单帧高动态范围RAW数据。该模块必须在前级BLC完成暗电流补偿之后执行，否则帧对齐算法会因暗电流噪声引入额外的匹配误差。

HDR Merge的前级模块主要包括Sensor接口、BLC（黑电平校正）和LSC（镜头阴影校正）。这些模块的输出质量直接决定了帧对齐的初始条件。

前级模块	功能简述	对HDR Merge的影响
Sensor + ADC	光电转换与模数转换，输出原始RAW数据	曝光时间配置在此阶段完成；ADC的量化噪声会影响帧对齐的亚像素精度
BLC（黑电平校正）	减去暗电流偏移，使黑电平归零	未校正的BLC会导致帧间暗电流不一致，破坏对齐算法的代价函数
LSC（镜头阴影校正）	补偿镜头边缘亮度衰减	阴影校正后的帧间亮度一致性更好，有利于基于梯度的对齐匹配
DPC（坏点校正）	修复传感器坏点	坏点若不校正，会在帧对齐时被误判为运动特征，导致融合伪影

工程避坑：部分低端ISP方案将HDR Merge放在BLC之前以节省硬件资源，但这会导致帧对齐精度严重下降。实测表明，BLC前置的HDR Merge方案在暗光场景下的对齐误差增加约30%~50%。务必确保HDR Merge的前级至少包含BLC和DPC。

HDR Merge的输出作为后级模块的输入，其数据特性（位宽、动态范围、噪声分布）直接影响后续处理的效果。

Demosaic（去马赛克）：HDR Merge输出的高动态范围RAW数据通常为12bit~20bit位宽，Demosaic需要支持高位宽插值算法，否则会丢失高光或暗部细节。
AWB（自动白平衡）：HDR Merge融合后的帧在色温一致性上可能因帧间曝光差异而出现偏差，AWB模块需要针对HDR RAW数据重新统计色温信息。
Gamma校正：HDR Merge输出的线性RAW数据经过Gamma映射后，动态范围被压缩到8bit~10bit显示范围，Gamma曲线的拐点参数需要根据HDR Merge的融合权重动态调整。
3A（AE/AWB/AF）：HDR Merge的曝光时间配置直接影响AE统计的准确性；AE模块需要根据HDR Merge的融合策略（如平均权重或自适应权重）重新计算目标亮度。

在嵌入式ISP硬件实现中，HDR Merge模块的位置还受到以下硬件约束：

Line Buffer深度：帧对齐需要多行数据缓存，HDR Merge通常需要2~4行Line Buffer，若放置在Demosaic之后，Line Buffer深度需增加3倍（因为RGB数据量是RAW的3倍）。
数据位宽：HDR Merge的输入输出位宽通常为12bit~20bit，若放置在Gamma之后，Gamma映射会压缩位宽，导致HDR Merge失去高动态范围优势。
帧率匹配：HDR Merge需要多帧输入，硬件流水线必须支持帧级同步，通常通过Frame Buffer或Tile-based处理实现。

约束维度	前置（RAW域）	后置（RGB域）	推荐方案
Line Buffer开销	低（2~4行RAW）	高（6~12行RGB）	前置
位宽保留	完整保留12~20bit	Gamma后压缩至8~10bit	前置
帧同步复杂度	中等（需RAW帧缓存）	高（需RGB帧缓存）	前置
对齐精度	高（RAW域噪声低）	中（Demosaic引入插值噪声）	前置

  总结：HDR Merge模块在ISP Pipeline中的标准位置是RAW域后段、Demosaic之前。这一位置选择兼顾了硬件开销（Line Buffer、位宽）与算法精度（帧对齐、噪声控制）。在实际嵌入式系统设计中，若因芯片面积或功耗限制需要调整位置，必须评估对齐精度损失与后级伪影风险。