4、运动检测算法概述：基于帧差法、基于光流法、基于块匹配法的基本原理
在HDR Merge流程中，运动检测是消除鬼影（Ghosting）与运动伪影的核心前置步骤。其目标是在多帧曝光序列中准确识别出发生位移的像素区域，从而在融合阶段对这些区域采取特殊的权重策略或替换逻辑。本章节系统阐述三种最主流的运动检测算法：帧差法、光流法与块匹配法，并对比其适用场景与计算代价。
核心观点： 没有一种运动检测算法能完美适配所有HDR场景。帧差法最快但粗糙，光流法最精确但计算量巨大，块匹配法在精度与效率之间取得了最佳平衡，因此成为ISP Pipeline中最常用的运动检测方案。
4.1 帧差法（Frame Difference）
帧差法是最直观、计算量最小的运动检测方法。其基本原理是对连续两帧或多帧图像的对应像素进行逐点灰度值相减，若差值超过预设阈值，则判定该像素点存在运动。
4.1.1 算法流程
- 灰度转换： 将输入帧（如Bayer域或RGB域）转换为亮度通道（Y），减少色彩噪声干扰。
- 帧间差分： 计算当前帧与参考帧的绝对差值图：
D(x,y) = |I_t(x,y) - I_{t-1}(x,y)|。 - 阈值二值化： 对差值图应用阈值T，生成二值运动掩膜：
M(x,y) = 1 if D(x,y) > T else 0。 - 后处理（可选）： 使用形态学操作（如开运算、闭运算）去除孤立噪点，填充空洞。
4.1.2 优缺点分析
| 维度 | 说明 |
|---|---|
| 优点 | 实现简单，计算延迟极低（仅需减法与比较）；对光照突变不敏感（仅依赖帧间差异）。 |
| 缺点 | 无法检测物体内部均匀区域的运动（空洞现象）；对噪声敏感，阈值选择困难；无法提供运动矢量方向与速度信息。 |
| HDR适用性 | 仅适用于曝光差异极小的短帧序列（如1x/2x曝光比），在大曝光比HDR中因亮度差异过大导致误检率极高。 |
工程提示： 在ISP中，帧差法通常不作为独立运动检测模块，而是作为“快速预筛”步骤，用于快速定位可能存在运动的区域，再交由更复杂的算法进行精细判断。
4.2 光流法（Optical Flow）
光流法通过计算图像序列中像素点在时间域上的瞬时速度矢量，来描述物体的运动信息。它不仅能够检测“是否运动”，还能精确给出“向何处运动”以及“运动多快”。在HDR Merge中，光流法可用于对运动区域进行精确的像素级配准。
4.2.1 核心假设与约束方程
光流法基于两个基本假设：
- 亮度恒定： 同一物体点在相邻帧间的亮度值保持不变。
- 小运动： 运动幅度较小，可以用泰勒展开近似。
由此导出光流约束方程：I_x * u + I_y * v + I_t = 0，其中 (u, v) 为待求的光流矢量，I_x, I_y, I_t 分别为图像在空间和时间方向上的梯度。
4.2.2 常用求解方法
| 方法 | 原理 | 特点 |
|---|---|---|
| Lucas-Kanade (LK) | 假设局部窗口内所有像素具有相同运动矢量，通过最小二乘法求解。 | 计算较快，适用于稀疏光流（特征点跟踪）；对窗口大小敏感。 |
| Horn-Schunck (HS) | 引入全局平滑约束，通过变分法求解稠密光流场。 | 输出全分辨率运动场，但计算量大，对运动边界模糊。 |
| 深度学习光流 (如FlowNet) | 使用卷积神经网络端到端学习光流。 | 精度最高，但需要GPU加速，功耗高，不适合嵌入式实时ISP。 |
HDR应用限制： 光流法的“亮度恒定”假设在HDR大曝光比场景下严重失效——同一物体在短帧和长帧中的亮度差异极大，导致光流估计产生系统性偏差。因此，光流法在HDR Merge中通常需要配合曝光补偿或梯度域处理使用。
4.3 块匹配法（Block Matching）
块匹配法是视频编码与ISP运动估计中最广泛使用的算法。它将图像划分为若干固定大小的块（Block），然后在参考帧的搜索窗口内寻找与当前块最相似的匹配块，以两者的位移作为该块的运动矢量（Motion Vector, MV）。
4.3.1 算法步骤
- 分块： 将当前帧划分为N×N像素的块（常见尺寸：8×8、16×16、32×32）。
- 搜索： 在参考帧中以当前块位置为中心，在±S像素的搜索窗口内遍历所有候选块。
- 匹配代价计算： 使用代价函数衡量当前块与候选块的相似度。
- 最优匹配： 选择代价最小的候选块，其位移即为运动矢量。
- 运动掩膜生成： 根据运动矢量的大小（模长）或匹配代价的置信度，生成运动区域掩膜。
4.3.2 常用匹配代价函数
| 函数 | 公式 | 特点 |
|---|---|---|
| SAD (绝对差和) | SAD = Σ|I_cur - I_ref| |
计算量最小，硬件友好；对光照变化敏感。 |
| SSD (平方差和) | SSD = Σ(I_cur - I_ref)² |
对大误差惩罚更大，精度略高于SAD。 |
| MAD (平均绝对差) | MAD = (1/N²) * Σ|I_cur - I_ref| |
SAD的归一化版本，便于阈值设定。 |
| NCC (归一化互相关) | NCC = Σ(I_cur·I_ref) / sqrt(ΣI_cur²·ΣI_ref²) |
对光照变化鲁棒，但计算量大，较少用于实时ISP。 |
4.3.3 搜索策略
- 全搜索（Full Search）： 遍历搜索窗口内所有位置，精度最高，但计算量随窗口大小呈平方增长。
- 三步搜索（Three-Step Search, TSS）： 从中心开始，以递减步长进行粗-细搜索，计算量大幅降低，是嵌入式平台的经典选择。
- 菱形搜索（Diamond Search）： 使用菱形模板进行快速收敛，在H.264/HEVC编码器中广泛使用。
- 六边形搜索（Hexagon Search）： 比菱形搜索覆盖范围更广，适合大运动场景。
ISP工程实践： 在HDR Merge的ISP实现中，块匹配法通常采用16×16块大小、±32像素搜索窗口、SAD代价函数配合三步搜索策略。该配置在4K@30fps的实时处理中，可在保持良好运动检测精度的同时，将计算开销控制在硬件可承受范围内。
4.4 三种算法对比总结
| 对比维度 | 帧差法 | 光流法 | 块匹配法 |
|---|---|---|---|
| 输出信息 | 二值掩膜（运动/静止） | 稠密运动矢量场 (u,v) | 稀疏/块级运动矢量 (dx,dy) |
| 计算复杂度 | 极低 (O(N)) | 高 (O(N²) ~ O(N³)) | 中等 (O(N·S²)) |
| 运动精度 | 低（仅区域级） | 高（像素级） | 中高（块级，亚像素需插值） |
| 光照鲁棒性 | 较好（帧间差异） | 差（亮度恒定假设） | 中等（取决于代价函数） |
| HDR大曝光比适应性 | 差 | 差（需预处理） | 较好（可配合梯度域匹配） |
| 硬件实现难度 | 极易 | 困难 | 中等（有成熟IP核） |
| ISP典型应用 | 快速预筛、静态区域检测 | 视频稳像、慢动作插帧 | HDR Merge运动检测（主流） |
选型建议： 对于移动端ISP的HDR Merge场景，推荐以块匹配法为主干，辅以帧差法进行快速预筛，仅在特定场景（如慢速运动、高精度需求）下启用稀疏光流进行局部细化。这种分层架构能够在功耗、实时性与运动检测质量之间取得最优平衡。