4. 鬼影检测算法：四种主流方法深度解析

鬼影检测，说白了就是找出多帧合成中那些「不该出现」的运动物体。我做了这么多年HDR，见过最头疼的问题就是——明明对齐做得很好，合成出来却多了一个半透明的人影。嗯，这就是鬼影。

这一章我们聊四种检测方法。从简单的帧差法，到复杂的光流、深度学习，再到局部熵。每种方法都有它的脾气，也有它的用武之地。

4.1 帧差法：最简单的运动区域检测

帧差法的思路很直接——两帧相减，差值大的地方就是运动区域。我在早期项目里经常用它做快速预筛，因为真的快。

核心公式很简单：

D(x,y) = |I₁(x,y) - I₂(x,y)|
Mask(x,y) = 1 if D(x,y) > T else 0

其中T是阈值。选阈值是个技术活，我踩过不少坑。

帧差法的优缺点很明显：

4.2 光流法：运动估计的利器

光流法比帧差法聪明多了。它不光告诉你「这里有运动」，还告诉你「往哪个方向运动、速度多快」。你想想看，这对鬼影消除来说多有用。

我常用的光流算法有两种：

• Lucas-Kanade稀疏光流：速度快，适合特征点跟踪。我一般在预处理阶段用它做快速运动估计。
• Farneback密集光流：精度高，逐像素计算。适合精细检测，但计算量大。

光流法的核心假设是亮度恒定：

I(x,y,t) = I(x+dx, y+dy, t+dt)

这个假设在HDR场景下其实有点脆弱——因为不同帧的曝光不同，亮度怎么可能恒定？

光流法检测鬼影的流程：

1. 对参考帧和待检测帧做亮度归一化
2. 计算密集光流场
3. 根据光流幅值生成运动掩膜
4. 对掩膜做形态学处理（开闭运算去噪）
5. 输出运动区域

光流法的精度确实高，但代价也大。我记得有一次在手机上跑Farneback光流，一帧要处理200ms，根本没法用。后来换成Lucas-Kanade+金字塔，才压到30ms以内。

4.3 深度学习：暴力但有效

深度学习做运动分割，说白了就是用大量数据训练一个模型，让它学会「什么是运动区域」。我个人觉得，如果算力允许，这是最省心的方案。

常用的网络结构：

训练数据怎么来？我分享一个实用技巧：

# 合成训练数据示例
import numpy as np
import cv2

def generate_training_pair(bg_img, fg_img, mask):
    """
    合成带鬼影的训练数据
    bg_img: 背景帧
    fg_img: 前景帧（含运动物体）
    mask: 运动区域掩膜
    """
    # 随机运动偏移
    dx, dy = np.random.randint(-20, 20, 2)
    M = np.float32([[1, 0, dx], [0, 1, dy]])
    fg_warped = cv2.warpAffine(fg_img, M, (w, h))
    
    # 合成鬼影
    ghost = cv2.addWeighted(bg_img, 0.7, fg_warped, 0.3, 0)
    return ghost, mask

深度学习的优势很明显——精度高、鲁棒性强。但缺点也突出：需要标注数据、计算量大、部署困难。我一般只在高端设备上用，或者作为离线处理的兜底方案。

4.4 局部熵法：纹理变化的探测器

局部熵法是个很有意思的方法。它不直接检测运动，而是检测纹理复杂度的变化。为什么能检测鬼影？因为运动物体进入画面后，会改变局部区域的纹理分布。

局部熵的定义：

H(x,y) = -Σ p(i) · log₂(p(i))

其中p(i)是局部窗口内灰度值为i的概率。熵值越大，纹理越复杂。

检测流程：

1. 计算参考帧的局部熵图
2. 计算待检测帧的局部熵图
3. 两帧熵图相减，得到熵差图
4. 阈值化得到运动区域

局部熵法的好处是对光照变化不敏感——因为熵描述的是纹理分布，而不是亮度值。这在HDR场景下特别有用。

四种方法对比总结：