3、相机成像与抖动模型：相机运动模型（平移、旋转、缩放）、针孔模型、单应性变换、运动模糊与畸变

图像稳定算法的本质，是对“相机运动”与“成像过程”进行数学建模与逆推。无论是EIS（电子防抖）还是OIS（光学防抖），其核心逻辑都是先估计相机在曝光期间的运动轨迹，再通过像素重映射或镜头物理补偿来消除运动带来的图像退化。因此，理解相机运动模型、针孔成像模型、单应性变换以及运动模糊与畸变的产生机理，是设计任何防抖算法的前提。本章将从刚体运动学出发，逐步建立从三维世界坐标到二维像素坐标的完整映射链路，并重点剖析平移、旋转、缩放对图像的影响差异，以及它们与运动模糊、镜头畸变之间的耦合关系。

上图展示了从三维世界坐标到二维像素坐标的完整链路。其中，相机运动模型决定了外参的变化方式，针孔模型负责将三维点投影到像平面，单应性变换描述了纯旋转或平面场景下的帧间像素映射关系，而运动模糊与畸变则是成像退化的重要来源。EIS与OIS的差异在于：OIS在光学层面通过透镜位移或传感器位移来抵消运动，而EIS在算法层面通过像素重映射来补偿运动。但无论哪种方式，都需要精确的相机运动模型作为支撑。

3.1 相机运动模型：平移、旋转与缩放

核心原理

相机运动模型描述的是相机在三维空间中的位姿变化。刚体运动可分解为平移（Translation）和旋转（Rotation），而缩放（Scale）通常出现在变焦镜头或数字变焦场景中。在数学表达上，相机运动可用一个4×4的齐次变换矩阵表示：

M = [ R   t ]
    [ 0   1 ]

其中，R为3×3旋转矩阵，t为3×1平移向量。对于纯旋转运动，R为正交矩阵（R^TR = I，det(R)=1）；对于平移运动，t表示相机光心在世界坐标系中的位移。缩放因子s则体现在内参矩阵K的焦距f上，即f' = s·f。

在实际防抖场景中，平移运动（尤其是沿x、y轴的平移）会导致图像整体平移，表现为画面“漂移”；旋转运动（尤其是绕光轴z轴的旋转）会导致图像旋转，表现为画面“倾斜”；而缩放运动则会导致图像“呼吸感”或“推拉感”。不同运动类型对图像的影响差异显著，因此算法需要分别建模。

判断方法或操作流程

在工程实践中，判断相机运动类型通常采用以下流程：

1. 特征点提取与匹配：使用ORB、SIFT或光流法提取相邻帧的特征点对。
2. 基础矩阵/本质矩阵估计：通过RANSAC算法剔除误匹配，估计本质矩阵E或基础矩阵F。
3. 运动分解：对E进行SVD分解，得到R和t的候选解，再通过三角化验证选择正确解。
4. 运动类型分类：根据R的旋转角度和t的模长，判断是平移主导、旋转主导还是混合运动。

对于纯旋转运动（如手持相机绕光轴旋转），可以使用单应性矩阵H直接建模；对于包含平移的运动，则需要考虑视差（Parallax）的影响，此时单应性模型不再适用。

案例拆解或实战场景

以手机拍摄视频为例，手持抖动通常包含高频的平移和旋转分量。假设某帧图像检测到绕x轴旋转0.5°、绕y轴旋转0.3°、沿x轴平移2个像素、沿y轴平移1个像素。若仅使用单应性变换进行补偿，由于平移分量较小且场景深度变化不大，单应性模型仍能取得较好效果。但若场景中存在近景和远景的明显分层，平移分量会导致视差效应，此时必须使用基于深度或光流的补偿方法。

常见误区或总结复盘

• 误区一：将旋转运动近似为平移运动。当旋转角度较大（>2°）时，图像边缘的位移量远大于中心，近似平移会导致边缘区域补偿不足。
• 误区二：忽略缩放运动。变焦镜头在推拉过程中，焦距变化会引起图像缩放，若未建模缩放，补偿后会出现“呼吸效应”。
• 误区三：混淆世界坐标系与相机坐标系。运动模型中的R和t是相机坐标系相对于世界坐标系的变换，方向定义错误会导致补偿方向相反。

总结：相机运动模型是防抖算法的“输入信号”，其精度直接决定了补偿效果。建议在算法设计初期，先通过仿真或实测数据统计运动分布，再针对主要运动类型设计专用补偿策略。

3.2 针孔模型与内参标定

核心原理

针孔模型是相机成像的基础数学模型，它描述了三维空间点P(Xw, Yw, Zw)到像素坐标p(u, v)的投影关系：

s * [u, v, 1]^T = K * [R|t] * [Xw, Yw, Zw, 1]^T

其中，K为内参矩阵，包含焦距fx、fy（单位：像素），主点坐标cx、cy，以及倾斜因子（通常为0）：

K = [ fx  0  cx ]
    [ 0  fy  cy ]
    [ 0   0   1 ]

内参矩阵K描述了相机光学系统的固有属性，包括焦距、传感器尺寸和像素密度。外参[R|t]则描述了相机在世界坐标系中的位姿。在防抖算法中，内参K用于将像素坐标转换为归一化坐标（即相机坐标系下的坐标），从而分离运动估计与内参的影响。

判断方法或操作流程

内参标定通常采用张正友标定法，流程如下：

1. 打印棋盘格标定板，拍摄不同角度、不同距离的10-20张图像。
2. 使用OpenCV的findChessboardCorners提取角点。
3. 调用calibrateCamera计算内参K和畸变系数。
4. 验证重投影误差，通常要求小于0.5像素。

标定后的内参K是EIS算法中“去畸变”和“像素重映射”的基础。若内参不准确，运动估计会引入系统性偏差。

案例拆解或实战场景

假设某手机摄像头标定结果为fx = 1400像素，fy = 1400像素，cx = 960像素，cy = 540像素（对应1080p分辨率）。在EIS算法中，当检测到相机绕y轴旋转0.2°时，像素位移量Δu = fx · tan(0.2°) ≈ 1400 × 0.00349 ≈ 4.9像素。若内参fx误差为5%，则位移估计误差约为0.25像素，对于1080p视频而言，这个误差在可接受范围内。但对于4K视频（fx更大），误差会成比例放大。

常见误区或总结复盘

• 误区一：忽略主点偏移。主点cx、cy并不一定在图像中心，若将其假设为图像中心，会导致旋转补偿时产生额外的平移误差。
• 误区二：使用未去畸变的图像进行运动估计。畸变会导致特征点位置偏移，影响运动估计精度。建议先对图像进行去畸变处理，再进行特征匹配。
• 误区三：内参标定后不更新。温度变化、镜头磨损会导致内参漂移，建议定期重新标定。

总结：针孔模型是连接三维世界与二维图像的桥梁，内参标定是防抖算法中不可跳过的预处理步骤。准确的标定能够显著提升运动估计的鲁棒性。

3.3 单应性变换：平面场景与纯旋转的桥梁

核心原理

单应性变换（Homography）描述了两个平面之间的投影映射关系。当场景为平面（如墙面、地面）或相机仅发生纯旋转（无平移）时，相邻帧之间的像素坐标满足单应性关系：

p2 = H * p1

其中，H为3×3单应性矩阵，自由度为8（尺度归一化后）。H可由两帧图像中至少4对匹配点计算得到。在防抖算法中，单应性变换常用于：

• 纯旋转运动的帧间对齐（如手持相机绕光轴旋转）。
• 平面场景下的运动补偿（如拍摄白板、文档）。
• 视频稳像中的全局运动估计（Global Motion Estimation）。

判断方法或操作流程

使用单应性变换进行运动补偿的流程：

1. 提取特征点并匹配，得到点对集合。
2. 使用RANSAC算法估计H矩阵，同时剔除误匹配点。
3. 根据H矩阵分解出旋转角度和平移量（仅适用于纯旋转或平面场景）。
4. 对当前帧应用H的逆变换，实现像素重映射。

需要注意的是，当场景存在明显深度变化且相机有平移时，单应性模型会产生“视差错误”，表现为补偿后图像边缘出现“重影”或“撕裂”。

案例拆解或实战场景

在无人机航拍场景中，相机通常以纯旋转方式调整云台角度（俯仰、偏航、横滚），此时单应性变换是理想的运动模型。假设无人机云台绕y轴旋转3°，则相邻帧的H矩阵可表示为：

H = K * R_y(3°) * K^(-1)

通过计算H，可以将当前帧重映射到参考帧的视角，实现电子稳像。实际测试中，使用单应性变换后，视频的抖动幅度从±5°降低到±0.3°，主观流畅度显著提升。

常见误区或总结复盘

• 误区一：将单应性变换用于所有场景。当场景深度变化大且存在平移时，单应性模型失效，应改用基础矩阵或本质矩阵。
• 误区二：忽略H矩阵的尺度归一化。H矩阵的最后一个元素h33通常归一化为1，否则分解R和t时会出现歧义。
• 误区三：直接使用H矩阵进行像素重采样。重采样时需要使用双线性插值或双三次插值，否则会产生锯齿和模糊。

总结：单应性变换是EIS算法中最高效的运动模型之一，但必须严格限定其适用条件。在混合运动场景中，建议结合IMU（惯性测量单元）数据进行运动模型选择。

3.4 运动模糊与畸变：图像退化的两大来源

核心原理

运动模糊（Motion Blur）是由于曝光期间相机或物体运动导致的图像退化，其数学模型为：

g(x,y) = f(x,y) * h(x,y) + n(x,y)

其中，f为清晰图像，h为点扩散函数（PSF），n为噪声。对于匀速直线运动，PSF为一条线段；对于旋转运动，PSF为圆弧。运动模糊在低光环境或长曝光时尤为明显，是OIS和EIS需要重点对抗的退化类型。

畸变（Distortion）则源于镜头光学系统的非线性，主要包括径向畸变（桶形/枕形）和切向畸变（透镜与传感器不平行）。畸变模型通常用多项式表示：

x_distorted = x * (1 + k1*r^2 + k2*r^4 + k3*r^6) + 2*p1*x*y + p2*(r^2 + 2*x^2)
y_distorted = y * (1 + k1*r^2 + k2*r^4 + k3*r^6) + p1*(r^2 + 2*y^2) + 2*p2*x*y

其中，k1、k2、k3为径向畸变系数，p1、p2为切向畸变系数，r为归一化半径。

判断方法或操作流程

运动模糊的检测通常通过图像梯度分析：模糊图像的梯度幅值分布更集中，高频分量衰减明显。畸变的检测则通过直线拟合：若图像中的直线在边缘区域弯曲，则存在径向畸变。

在防抖算法中，处理运动模糊与畸变的流程：

1. 去畸变：使用标定得到的畸变系数，对图像进行逆变换，得到无畸变图像。
2. 运动模糊估计：通过IMU数据或图像分析估计PSF，使用维纳滤波或Richardson-Lucy算法进行去模糊。
3. 联合优化：在EIS中，将去畸变和运动补偿合并到同一像素重映射过程中，减少计算开销。

案例拆解或实战场景

在夜间手持拍摄场景中，曝光时间通常为1/30秒，手持抖动导致明显的运动模糊。假设IMU检测到曝光期间相机绕y轴旋转了0.8°，则PSF近似为一条长度为fx·tan(0.8°)≈20像素的线段。若直接使用EIS进行像素重映射，虽然能纠正旋转，但运动模糊依然存在。此时需要结合OIS：OIS通过移动镜头或传感器，在曝光期间抵消旋转运动，从而减少PSF的长度。实测表明，OIS可将PSF长度从20像素降低到3像素，显著提升图像清晰度。

常见误区或总结复盘

• 误区一：认为EIS可以消除运动模糊。EIS只能补偿几何变形（平移、旋转、缩放），无法恢复曝光期间丢失的高频信息。
• 误区二：忽略畸变对运动估计的影响。畸变会导致特征点位置偏移，进而影响H矩阵或E矩阵的估计精度。
• 误区三：过度依赖去模糊算法。去模糊算法（如RL算法）在噪声放大和振铃效应方面存在风险，应谨慎使用。

总结：运动模糊与畸变是图像退化的两大来源，分别对应时间域和空间域的非理想因素。在防抖算法中，应优先通过OIS减少运动模糊，通过标定消除畸变，EIS则负责剩余的几何补偿。

3.5 知识结构总览与工程实践建议

在工程实践中，建议按照以下顺序构建防抖算法链路：

1. 离线标定：标定内参K和畸变系数，建立相机模型。
2. 在线运动估计：融合IMU和视觉特征，估计相机运动参数（R, t, s）。
3. 运动分解与平滑：分离高频抖动和低频意图，设计平滑滤波器。
4. 像素重映射：结合去畸变和运动补偿，生成稳定输出帧。
5. 质量评估：使用PSNR、SSIM或主观评分评估稳定效果。