4. 基于像素差异的鬼影检测：差与归一化互相关（NCC）的计算，自适应阈值设定策略，局部区域方差分析
各位同学，欢迎来到第四章。上一章我们聊了鬼影是怎么产生的，以及为什么简单的均值融合搞不定它。这一章，咱们直接上手——怎么用代码“抓住”鬼影。
说白了，鬼影检测的核心就一句话：找到那些“不该动却动了”的像素。HDR序列里，场景中的静态物体在不同曝光帧里应该只有亮度变化，位置和内容不该变。如果某个区域在帧与帧之间发生了非亮度性的变化，那多半就是鬼影——或者运动物体。
我个人习惯把鬼影检测分成两个流派：基于像素差异 和 基于特征匹配。这一章我们先啃最基础、也最实用的像素级方法。
4.1 差（Absolute Difference）——最直觉的做法
先想一个最简单的问题：怎么判断两张图里同一个位置的像素“不一样”？
你可能会说：直接减啊！没错，差就是这么干的。
// 伪代码：差计算
float diff = abs(pixel_ref - pixel_curr);
if (diff > threshold) {
mark_as_ghost();
}
听起来简单到有点傻，对吧？但我在项目里见过不少团队一开始就用这个。它确实快，一个像素只需要一次减法和一次值，GPU上跑起来飞起。
但问题也很明显——它分不清“亮度变化”和“内容变化”。你想想看，HDR序列里不同帧的曝光时间不同，同一个物体在欠曝帧里暗，过曝帧里亮。这个亮度差可能比鬼影造成的差异还大。直接用差，你会把整个画面都标记成鬼影。
避坑指南： 我曾经在一个夜景HDR项目里直接用差做鬼影检测，结果阈值怎么调都不对。调低了，过曝区域全被当成鬼影；调高了，真正的运动物体又漏检。折腾了两天，最后老老实实换成了NCC。所以记住：差只适合曝光差异极小的序列，或者作为预处理快速筛选。
4.2 归一化互相关（NCC）——更聪明的做法
那怎么区分“亮度变化”和“内容变化”呢？
答案是：看局部区域的结构，而不是单个像素的值。
归一化互相关（Normalized Cross-Correlation, NCC）就是干这个的。它计算两个局部窗口之间的相似度，结果在[-1, 1]之间。1表示完全一样（线性关系），-1表示完全相反，0表示没关系。
公式长这样：
NCC = Σ[(I1 - μ1) * (I2 - μ2)] / sqrt(Σ(I1 - μ1)² * Σ(I2 - μ2)²)
其中 μ1、μ2 是窗口内的均值。说白了，它先减去均值（去掉了整体亮度偏移），再除以标准差（去掉了对比度差异）。剩下的就是纯粹的结构相似度。
嗯，这里要注意：NCC对旋转和缩放敏感，但对线性亮度变化不敏感。这正好符合HDR的需求——不同曝光帧之间，静态物体的关系近似线性。
| 方法 | 对亮度变化敏感度 | 对结构变化敏感度 | 计算开销 | 适用场景 |
|---|---|---|---|---|
| 差 | 高 | 中 | 极低 | 曝光差异小的序列 |
| NCC | 低 | 高 | 较高 | 一般HDR序列 |
| SSIM | 低 | 高 | 高 | 高质量需求场景 |
我的经验： NCC的窗口大小很关键。我一般用7×7或9×9。窗口太小，噪声影响大；窗口太大，边缘细节被模糊，小物体鬼影检测不到。你可以先试试9×9，然后根据图像分辨率微调。
4.3 自适应阈值设定策略
好，现在你能算出每个像素的NCC值了。下一个问题：阈值设多少？
固定阈值？比如NCC < 0.8就算鬼影？
我试过，不行。不同场景的NCC分布差异太大了。纹理丰富的区域，NCC天然就高；平坦区域（比如天空、墙壁），NCC天然就低——因为噪声占了主导。用一个全局阈值，要么在平坦区域误检一堆，要么在纹理区域漏检。
所以需要自适应阈值。
我个人常用的策略有两种：
- 基于局部统计的自适应阈值：对每个像素，计算其邻域内NCC值的均值和标准差。阈值 = 均值 - k * 标准差。k一般取2~3。
- 基于分位数的自适应阈值：统计整幅NCC图的直方图，取某个分位数（比如5%）作为阈值。这个适合场景整体比较均匀的情况。
// 自适应阈值示例（基于局部统计）
float local_mean = compute_local_mean(ncc_map, x, y, window_size);
float local_std = compute_local_std(ncc_map, x, y, window_size);
float threshold = local_mean - 2.5 * local_std;
if (ncc_map[y][x] < threshold) {
ghost_mask[y][x] = 1; // 标记为鬼影
}
关键点： 自适应阈值不是万能的。如果场景中运动物体面积很大（比如一个人占了画面1/3），局部统计会被污染，阈值会跟着漂移。这时候需要结合全局信息做修正，或者用多尺度分析。
4.4 局部区域方差分析——给鬼影检测加个“置信度”
你有没有想过一个问题：NCC值低，一定代表有鬼影吗？
不一定。平坦区域（比如纯色墙壁）的NCC值天然就低，因为窗口内像素值变化小，计算出的相关性不可靠。这时候我们需要一个“置信度”指标——局部方差。
局部方差衡量的是窗口内像素值的分散程度。方差大，说明纹理丰富，NCC值可信；方差小，说明区域平坦，NCC值不可信。
我的做法是：
- 计算每个像素的局部方差（用参考帧）。
- 设定一个方差下限（比如10~20，取决于图像位深）。
- 方差低于下限的区域，直接跳过鬼影检测，或者降低鬼影权重。
这样能大幅减少平坦区域的误检。我在一个室内HDR项目里用过这个技巧，鬼影误检率从15%降到了3%以下。
注意： 局部方差分析不能单独作为鬼影检测手段，它只是辅助。方差低的区域也可能是真正的鬼影（比如运动物体恰好是纯色的）。所以正确的做法是：NCC做主检测，方差做置信度加权。
4.5 整体流程与SVG框架图
把上面这些串起来，一个完整的基于像素差异的鬼影检测流程是这样的：
这个流程看起来步骤多，但每一步都有它的道理。NCC负责“找不同”，局部方差负责“判断这个不同可不可信”，自适应阈值负责“因地制宜”。三者配合，才能在实际项目中稳定工作。
4.6 实战中的几个坑
最后，分享几个我在实战中踩过的坑：
- 坑一：忘记做亮度归一化。 NCC虽然对线性亮度变化不敏感，但如果曝光差异太大（比如差了4档以上），非线性响应会破坏NCC的假设。我建议先做简单的线性拉伸，或者用相机响应函数（CRF）做逆变换。
- 坑二：窗口大小一刀切。 高分辨率图像用大窗口，低分辨率用小窗口。我一般按图像短边的1/100来估算窗口大小，再上下调整。
- 坑三：阈值k值固定。 自适应阈值里的k值（乘数）其实也可以自适应。纹理丰富的区域k小一点（严格一点），平坦区域k大一点（宽松一点）。
- 坑四：忽略边界处理。 窗口计算时，图像边界区域的NCC值不可靠。我通常会在边界加一个过渡带，降低边界像素的鬼影权重。