4. 运动估计基础
运动估计是防抖处理链路中的“感知层”。无论是电子防抖（EIS）、视频稳像，还是多帧低照度增强中的帧间对齐，系统都必须先回答一个问题：相邻两帧之间，画面中的像素、区域或特征分别移动到了哪里？只有得到可靠的运动矢量场或全局变换参数，后续的补偿、裁剪、融合才有依据。本节围绕四类主流运动估计方法展开：光流法、块匹配、相位相关与特征点跟踪，理解它们各自的核心思想、适用边界与工程取舍。
一、核心原理：四类方法的本质差异
运动估计的本质，是在两帧图像之间建立对应关系。不同方法的差异，主要体现在“用什么作为匹配单元”以及“在什么域上求解”。
- 光流法：以像素为单元，基于亮度恒定假设，求解每个像素的瞬时速度矢量 (u, v)。它输出的是稠密运动场，能刻画局部形变，但对光照变化、大位移和噪声敏感。
- 块匹配：以图像块为单元，在参考帧的搜索窗口内寻找最相似的块，以 SAD、SSD 或 NCC 作为匹配代价。它输出稀疏但鲁棒的运动矢量，广泛用于视频编码与全局运动估计。
- 相位相关：在频域中利用傅里叶变换的平移特性，通过互功率谱的相位信息求取整像素甚至亚像素级平移。它对亮度变化不敏感，适合估计全局平移，但难以处理旋转和局部运动。
- 特征点跟踪：先检测角点、边缘等稳定特征，再在帧间进行描述子匹配或光流跟踪。它输出稀疏但语义明确的对应点，适合求解单应矩阵或仿射变换，是视频稳像中最常用的全局运动估计手段。
核心记忆：光流求“稠密像素速度”，块匹配求“块级位移”，相位相关求“全局平移”，特征点跟踪求“稀疏对应关系”。四者不是互斥关系，工程中常组合使用。
二、方法流程：从帧输入到运动参数
以视频稳像为例，四类方法在流程中的位置不同，但目标一致：得到描述帧间运动的模型参数。
- 预处理：灰度化、降采样、去噪。低照度场景下噪声会严重干扰匹配，通常先做轻度时域或空域降噪。
- 运动估计：根据场景选择方法。手持拍摄常用特征点跟踪 + RANSAC 求解仿射或单应矩阵；固定机位抖动可用相位相关快速求平移。
- 运动滤波：将估计出的运动轨迹分解为有意运动（如摇镜）与无意抖动，常用低通滤波、卡尔曼滤波或滑动平均。
- 运动补偿：根据滤波后的轨迹计算补偿变换，对当前帧进行仿射/透视变换，并做边界裁剪或填充。
# 以 OpenCV 为例：特征点跟踪 + 仿射估计的简化流程
import cv2, numpy as np
prev = cv2.imread("frame_0001.png", 0)
curr = cv2.imread("frame_0002.png", 0)
# 1. 检测角点
pts_prev = cv2.goodFeaturesToTrack(prev, maxCorners=200,
qualityLevel=0.01, minDistance=20)
# 2. KLT 光流跟踪
pts_curr, status, err = cv2.calcOpticalFlowPyrLK(prev, curr, pts_prev, None)
# 3. 筛选有效点
good_prev = pts_prev[status == 1]
good_curr = pts_curr[status == 1]
# 4. RANSAC 估计仿射变换
M, inliers = cv2.estimateAffinePartial2D(good_prev, good_curr,
method=cv2.RANSAC,
ransacReprojThreshold=3.0)
print("仿射矩阵 M =", M)
三、案例与场景：低照度手持视频的稳像选择
假设一段 1080p、30fps 的夜间手持视频，存在明显抖动，同时画面噪声大、纹理弱。此时若直接使用光流法，亮度恒定假设在噪声下容易失效，稠密光流会出现大量错误矢量；若使用块匹配，弱纹理区域会出现多个相似匹配块，导致运动矢量跳变。
更稳妥的策略是：先做时域降噪，再用特征点跟踪估计全局运动。夜间场景中，路灯、车灯、建筑边缘等仍能提供稳定角点；通过 RANSAC 剔除误匹配后，用仿射模型描述帧间运动，既能处理平移，也能处理轻微旋转和缩放。若场景以纯平移为主且需要极低延迟，可先用相位相关求平移初值，再用特征点跟踪做亚像素修正。
在低照度增强的多帧融合中，运动估计精度直接决定融合是否出现重影。建议将运动估计与降噪联合设计：先估计运动，再在运动补偿后的帧间做时域融合，而不是先融合再估计。
四、误区与复盘：常见工程陷阱
| 误区 | 表现 | 修正思路 |
|---|---|---|
| 认为光流一定比块匹配准 | 大位移或噪声场景下光流矢量发散 | 先用金字塔分层或块匹配提供初值，再细化光流 |
| 忽略运动模型选择 | 用平移模型处理旋转场景，补偿后画面扭曲 | 根据场景选择平移、相似、仿射或单应模型 |
| 特征点数量越多越好 | 弱纹理区域引入大量误匹配，RANSAC 失效 | 控制特征点数量与分布，优先高质量角点 |
| 相位相关可处理所有运动 | 旋转或缩放时峰值弥散，估计失败 | 仅用于平移估计，或先做对数极坐标变换 |
| 运动估计与降噪顺序颠倒 | 先融合导致重影，后续无法恢复 | 先估计运动并补偿，再做时域融合 |
复盘时可以用一个简单判据：如果补偿后的帧间残差在平坦区域仍然偏高，说明运动估计在弱纹理处不可靠；如果边缘区域出现重影，说明运动模型不足以描述真实运动。此时应回到运动估计环节，检查特征点分布、匹配代价和模型选择，而不是盲目增加滤波强度。
运动估计没有“万能方法”。工程中应根据场景动态选择或组合：纹理丰富、运动复杂时优先特征点跟踪；纯平移、光照变化大时优先相位相关；需要稠密运动场时使用光流；对实时性要求极高且运动以块平移为主时使用块匹配。
掌握这四类方法的核心思想后，后续的全局运动补偿、轨迹平滑和低照度多帧融合才有可靠基础。运动估计的精度与鲁棒性，往往决定了整个防抖与增强系统的上限。