4. 运动补偿与去鬼影：运动估计网络、基于注意力机制的去鬼影模块
多帧融合最头疼的问题是什么？我个人的经验是——鬼影。你辛辛苦苦对齐了图像，结果运动物体边缘还是拖着一层半透明的残影，像幽灵一样。这就是运动补偿没做好，或者去鬼影模块不够聪明。
这一章，我们重点拆解两个核心模块：运动估计网络和基于注意力机制的去鬼影模块。说白了，一个负责“找偏移”，一个负责“擦屁股”。
4.1 运动估计网络：从光流到可变形卷积
传统方法用光流法做运动估计，计算量大，而且对纹理弱的区域容易失效。我在项目中遇到过，夜间场景下路灯照亮的区域光流还算准，但一到暗部就全乱了。
现在主流做法是用轻量级CNN做运动估计。核心思路是：输入两帧图像，输出一个偏移场（offset field）。
运动估计网络的基本结构：
- 特征提取层：共享权重的Siamese网络，提取参考帧和待对齐帧的特征
- 相关性计算层：计算特征图之间的相关性矩阵（cost volume）
- 偏移回归层：通过卷积层回归出每个像素的偏移量（dx, dy）
举个例子，一个典型的轻量级运动估计网络输出格式如下：
# 假设输入两帧 HxWx3 的图像
# 输出 HxWx2 的偏移场
offset_map = motion_est_net(frame_ref, frame_align)
# offset_map[:,:,0] 是 x 方向偏移
# offset_map[:,:,1] 是 y 方向偏移但光流法有个问题——它假设运动是连续的、局部的。遇到大位移或者遮挡区域，光流就崩了。所以我现在更推荐用可变形卷积（Deformable Convolution）来做运动补偿。
4.2 可变形卷积：让卷积核学会“变形”
可变形卷积的厉害之处在于，它不再用固定的3x3网格去采样，而是让每个采样点都学一个偏移量。你想想看，如果物体在运动，卷积核跟着物体形状走，那对齐效果肯定比硬拉网格好。
| 方法 | 对齐方式 | 计算量 | 大位移处理 | 遮挡处理 |
|---|---|---|---|---|
| 光流法 | 像素级warp | 高 | 差 | 差 |
| 可变形卷积 | 自适应采样 | 中 | 好 | 较好 |
| 注意力对齐 | 全局匹配 | 高 | 好 | 好 |
我在部署时踩过一个坑：可变形卷积在GPU上跑得挺快，但换到NPU上，很多芯片不支持offset的梯度回传，或者实现效率极低。嗯，这里要注意，选芯片前一定要确认算子支持情况。
部署小技巧：如果目标芯片不支持可变形卷积，可以用光流+双线性插值做替代方案。虽然精度略低，但兼容性好。我曾经在某个AI ISP芯片上就是这么干的，最终效果只差了0.3dB PSNR，但帧率从15fps提到了30fps。
4.3 去鬼影模块：为什么光流对齐还不够？
光流对齐只能解决“位置偏移”，但解决不了“内容不一致”。比如一个行人从画面中走过，第一帧他在左边，第二帧他在右边。光流可以把他拉回左边，但拉回来的像素是第二帧的，和第一帧的背景完全不搭——这就产生了鬼影。
去鬼影的核心逻辑是：判断哪些像素是“可信的”，哪些是“有问题的”，然后只融合可信的部分。
传统方法用帧差法或者运动掩膜来做，但阈值很难调。调高了去不干净，调低了细节全丢。我早期做的一个项目，光调阈值就花了两周，最后还是用深度学习搞定的。
4.4 基于注意力机制的去鬼影模块
注意力机制天然适合做去鬼影。为什么？因为它能自动学习“哪些位置需要关注”、“哪些位置需要抑制”。
我常用的结构是空间-通道混合注意力，具体流程如下：
- 输入：对齐后的多帧特征图（比如3帧，每帧C个通道）
- 空间注意力：生成HxW的权重图，标记每个像素的“可信度”
- 通道注意力：生成C维的权重向量，标记每个特征通道的“重要性”
- 加权融合：用注意力权重对多帧特征做加权平均
代码实现的核心部分大概长这样：
# 输入: aligned_feats [B, N, C, H, W] N为帧数
# 空间注意力分支
spatial_att = conv2d(aligned_feats.mean(dim=2), kernel=1)
spatial_att = sigmoid(spatial_att) # [B, N, 1, H, W]
# 通道注意力分支
channel_att = global_avg_pool(aligned_feats) # [B, N, C, 1, 1]
channel_att = fc_relu_fc(channel_att)
channel_att = sigmoid(channel_att) # [B, N, C, 1, 1]
# 融合权重
fusion_weight = spatial_att * channel_att # [B, N, C, H, W]
# 归一化
fusion_weight = fusion_weight / fusion_weight.sum(dim=1, keepdim=True)
# 加权融合
output = (aligned_feats * fusion_weight).sum(dim=1)注意：注意力权重一定要做帧间归一化，否则会出现某一帧权重过高、其他帧被完全忽略的情况。我曾经遇到过这个问题，结果融合后的图像闪烁严重，查了两天才发现是权重没归一化。
4.5 整体流程与部署要点
把运动补偿和去鬼影串起来，整个多帧融合的流程就清晰了：
部署时，我建议重点关注以下几点：
- 量化精度：运动估计网络对数值精度敏感，INT8量化后偏移量可能偏差1-2个像素，建议保留部分层用FP16
- 帧缓存管理：多帧融合需要缓存N帧数据，DDR带宽有限，我一般用ping-pong buffer来降低延迟
- 注意力计算优化：空间注意力图是HxW的，如果分辨率是4K，这个图就有800万个点，建议先降采样再算注意力，然后上采样回原分辨率
避坑指南：我曾经在一个项目中，去鬼影模块在训练集上效果很好，但一到真实场景就出现“过度平滑”——运动区域被抹平了。后来发现是训练数据里运动物体太少，模型学会了“偷懒”，直接对所有像素做平均。解决办法是在训练时加入运动区域增强，把运动物体的loss权重提高3-5倍。
好了，运动补偿和去鬼影的核心内容就这些。说白了，运动估计网络负责“找”，注意力去鬼影模块负责“筛”。两者配合好了，多帧融合的效果才能上去。下一块内容，我们聊聊融合后的色调映射和细节增强——那又是另一门学问了。