2、抖动基础:视频抖动成因(手持、运动、机械振动)、抖动类型(平移、旋转、缩放)、抖动对画质的影响

视频抖动是成像链路中最常见却又最棘手的干扰源。无论是手机随手拍、运动相机骑行记录,还是车载ADAS摄像头、无人机航拍,最终画面是否“稳”,本质上取决于光学系统、传感器读出与算法补偿三者之间的配合。理解抖动的物理成因、数学表征与视觉影响,是设计EIS(电子防抖)与OIS(光学防抖)算法的第一课。本章从抖动来源出发,建立抖动类型的分类框架,并量化分析抖动对分辨率、帧间一致性与编码效率的具体损害。

视频抖动成因与类型关系图 手持抖动 • 低频漂移 (0.5~3Hz) • 呼吸/肌肉微颤 • 步态周期性摆动 • 手指触控反作用力 运动载体抖动 • 车辆颠簸/加减速 • 无人机风扰/转向 • 跑步/骑行冲击 • 高频随机振动 机械振动 • 马达/云台电机共振 • 快门/光圈机械动作 • 防抖机构自身谐振 • 外部设备(发动机等) 抖动类型 平移 (Tx/Ty) · 旋转 (Rz) 缩放 (Zoom) · 仿射组合 画质影响:模糊 · 果冻效应 · 帧间跳变 · 码率上升

2.1 抖动成因的物理机制与频段特征

视频抖动并非单一维度的“画面晃动”,而是多种物理激励耦合作用于成像系统的结果。从信号处理角度看,抖动本质上是相机位姿(位置与姿态)在时间轴上的非期望变化。根据激励源的不同,可将其划分为三大类:手持抖动、运动载体抖动与机械振动。这三类成因在频段、幅度与方向性上具有显著差异,直接影响防抖算法的策略选择。

2.1.1 手持抖动:低频漂移与生理性微颤

手持拍摄时,人体并非刚性结构。呼吸引起的胸腔起伏、心脏搏动传导至手臂的微振动、肌肉维持姿势时的无意识收缩,以及手指按压快门或触控屏幕时的反作用力,共同构成了复杂的抖动源。实测数据显示,手持抖动的能量主要集中在0.5Hz至3Hz的低频段,其中1Hz附近的呼吸谐波与2Hz附近的肌肉颤振最为突出。在长焦端(等效焦距≥100mm),即使微小的角速度扰动(如0.1°/s)也会在传感器上产生数个像素的位移。

关键参数:手持抖动的角速度典型值为0.5°/s~5°/s,角位移幅度在0.1°~2°之间。当快门时间低于1/焦距(秒)时,低频漂移会导致明显的运动模糊;而高频微颤则更多表现为帧间随机跳变。

2.1.2 运动载体抖动:宽频带随机振动

车载、无人机、运动相机等场景中,载体本身的运动状态变化是主要抖动源。车辆行驶在颠簸路面时,悬架系统将路面激励传递至车身,产生5Hz~20Hz的垂直振动与俯仰/侧倾角振动;无人机在风力扰动下,机体姿态控制回路的修正动作会引入10Hz~50Hz的高频抖动;跑步或骑行时,人体重心周期性起伏与地面冲击叠加,形成包含基频(步频约1.5Hz~3Hz)及其谐波的复合振动谱。这类抖动的显著特点是频带宽、幅度大,且往往伴随明显的平移分量(尤其是垂直方向的Tx)。

2.1.3 机械振动:系统内部谐振与外部耦合

机械振动源包括两类:一是成像系统内部器件的运动,如OIS音圈马达的驱动信号残留、机械快门/光圈叶片的撞击、自动对焦马达的步进动作;二是外部设备通过安装支架传导的振动,如发动机怠速、云台电机PWM驱动噪声、车载音响低频共振等。机械振动通常具有明确的特征频率(如某型号OIS马达的谐振频率为120Hz),且幅度随频率变化剧烈。若防抖算法的采样率或控制带宽不足,这些高频分量会直接混叠为低频伪影。

抖动源典型频段幅度范围主要方向对防抖算法的影响
手持呼吸/肌肉0.5~3 Hz0.1°~2°旋转为主需高精度陀螺仪积分
运动载体颠簸5~20 Hz1°~10°平移+旋转需大范围裁切补偿
机械共振50~200 Hz0.01°~0.5°各向异性需低通滤波或陷波

2.2 抖动类型的数学模型与视觉表现

从几何变换的角度,任意时刻的帧间抖动都可以分解为平移(Translation)、旋转(Rotation)与缩放(Scale)三种基本类型的组合。在计算机视觉中,这些变换统一用仿射矩阵或单应矩阵描述。理解每种类型的数学表达,是设计运动估计与补偿模块的前提。

2.2.1 平移抖动:像素级位移

平移抖动指相机在垂直于光轴的平面内发生横向(Tx)或纵向(Ty)位移,导致整个画面在传感器上整体平移。对于理想薄透镜模型,物距为Z的物体在传感器上的位移量为:

Δx = f * Tx / Z
Δy = f * Ty / Z

其中f为焦距。可见,相同物理位移下,焦距越长或物距越近,像素位移越大。平移抖动在视觉上表现为画面整体滑动,不改变物体形状与相对位置。在EIS中,平移补偿通常通过全局运动矢量(GMV)估计实现,但需注意视差问题——近景与远景的位移量不一致,单纯全局平移补偿会引入边缘扭曲。

2.2.2 旋转抖动:绕光轴与离轴旋转

旋转抖动包括绕光轴(Z轴)的滚转(Roll)以及绕X/Y轴的俯仰(Pitch)与偏航(Yaw)。绕光轴旋转在画面中表现为整体角度偏转,可用旋转矩阵Rz(θ)描述;俯仰与偏航则等效于成像平面在三维空间中的倾斜,导致画面出现梯形畸变(透视效应)。旋转抖动的视觉影响远大于平移——同样0.5°的旋转,在1080P画面边缘会产生约10~20像素的位移,而平移0.5°对应的像素位移通常只有几个像素。因此,高端防抖系统优先处理旋转分量。

2.2.3 缩放抖动:焦距波动与Z轴位移

缩放抖动来源于两类情况:一是变焦镜头在变焦过程中焦距不稳定,导致视场角连续变化;二是相机沿光轴方向(Z轴)发生前后位移,使物体成像大小改变。缩放抖动的数学表达为各向同性的尺度因子s,其视觉表现为画面整体放大或缩小。在EIS中,缩放补偿需要估计尺度变化量,并通过反向缩放裁切窗口实现。值得注意的是,缩放抖动与旋转抖动常耦合出现——手持拍摄时身体前后晃动既产生Z向位移,也伴随俯仰角变化。

判断方法:实际工程中,可通过陀螺仪角速度积分判断旋转分量,通过加速度计二次积分判断平移分量,通过对比相邻帧特征点距离变化判断缩放分量。若仅有单目视频,则需使用光流法或特征匹配估计仿射矩阵,再分解为各分量。

2.3 抖动对画质的多维度损害

抖动对视频画质的损害并非简单的“看起来晃”,而是从分辨率、时间一致性、编码效率三个层面系统性劣化。理解这些损害机制,有助于确定防抖算法的优先级与性能指标。

2.3.1 空间分辨率损失:运动模糊与MTF下降

当曝光时间内传感器与场景存在相对运动,单个像素会累积来自不同物点的光能量,导致调制传递函数(MTF)下降。运动模糊的等效低通滤波效应可用sinc函数近似:

MTF(f) = |sinc(π * d * f)|

其中d为曝光期间像素位移量,f为空间频率。当d=1像素时,MTF在奈奎斯特频率处降至0.64;当d=2像素时,MTF降至0.32,画面细节严重丢失。对于4K视频,2像素的抖动模糊相当于有效分辨率降至1080P级别。OIS通过物理移动镜头或传感器来减少d值,而EIS无法恢复已丢失的高频信息,只能通过裁切避免更严重的帧间错位。

2.3.2 时间域一致性破坏:果冻效应与帧间跳变

CMOS传感器采用逐行曝光方式,当相机在曝光期间发生快速旋转或平移时,画面不同行之间存在时间差,导致垂直物体倾斜、水平线条弯曲,即果冻效应(Rolling Shutter)。果冻效应的严重程度与读出速度成反比——高速运动场景下,1/30s帧率的传感器若读出时间为1/60s,则画面顶部与底部的等效拍摄时刻相差16.7ms,足以产生明显的几何畸变。此外,帧间抖动导致同一物体在不同帧中的位置跳变,人眼感知为“卡顿”或“闪烁”,即使帧率足够高,这种空间不连续也会显著降低主观画质评分。

2.3.3 编码效率下降:运动矢量开销与码率上升

视频编码器依赖帧间预测去除时间冗余。当画面存在抖动时,宏块的运动矢量幅度增大、方向随机,导致以下后果:

  • 运动估计搜索范围扩大,计算复杂度上升;
  • 运动矢量残差编码比特数增加,压缩率下降;
  • 帧间预测残差能量增大,需要更多变换系数编码;
  • 参考帧质量下降,误差传播导致后续帧编码效率进一步恶化。

实测数据显示,在相同主观质量下,抖动视频的码率比稳定视频高30%~80%。对于带宽受限的实时传输场景(如无人机图传、车载视频上传),这意味着需要降低分辨率或帧率来满足码率约束。

常见误区:部分工程师认为EIS可以完全替代OIS。实际上,EIS只能通过裁切和重采样补偿帧间位移,无法解决曝光时间内的运动模糊;而OIS能物理减少传感器上的像移,但补偿范围有限(通常±1°~±3°)。高端系统采用OIS+EIS融合方案:OIS负责高频小幅抖动,EIS负责低频大幅漂移与残余误差。

2.4 案例拆解:手持长焦拍摄的抖动分析与防抖策略选择

为综合说明抖动成因、类型与画质损害的关联,以下通过一个典型场景进行闭环分析。

场景背景:某手机厂商在开发50倍潜望式长焦镜头时,收到用户反馈“10倍以上变焦拍摄视频时画面模糊严重,且电子防抖开启后边缘出现扭曲”。测试团队使用三轴转台模拟手持抖动,采集了陀螺仪与加速度计数据。

初始数据:等效焦距125mm(10倍变焦),传感器像素尺寸0.8μm,曝光时间1/120s。实测手持抖动角速度RMS为1.2°/s,主要能量集中在1.5Hz(呼吸)与2.8Hz(肌肉颤振)。在曝光时间内,最大角位移为1.2°/s × (1/120)s = 0.01°,对应传感器位移为:

Δd = f * tan(θ) ≈ 125mm * 0.000175 = 0.0219mm = 27.4μm ≈ 34像素

这意味着曝光期间画面移动了34个像素,远超2像素的模糊容忍阈值,MTF几乎为零。

分析过程:测试团队进一步对比了三种方案:纯EIS、纯OIS(±1°补偿范围)、OIS+EIS融合。纯EIS在裁切50%后仍无法消除运动模糊,因为模糊发生在曝光期间,帧间重采样无法恢复;纯OIS将传感器位移从34像素降至约8像素(补偿了大部分旋转),但残余抖动仍导致边缘模糊;融合方案中,OIS补偿高频旋转(>2Hz),EIS处理低频漂移与平移分量,最终将有效像素位移控制在2像素以内。

实施与结果:最终采用OIS(音圈马达驱动传感器,带宽200Hz)+ EIS(陀螺仪辅助全局运动估计,裁切比例12%)的融合架构。实测MTF在10倍变焦下从0.15提升至0.55,主观清晰度评分从3.2分(满分5分)提升至4.5分。代价是OIS马达功耗增加80mW,且EIS裁切导致视场角缩小约8%。

复盘经验:长焦场景下,抖动对画质的损害以运动模糊为主,必须优先使用OIS;EIS的裁切比例受限于视场角余量,不能无限增大;陀螺仪与OIS的同步延迟需控制在1ms以内,否则补偿相位误差会引入新的抖动。

2.5 总结与设计启示

本章从物理成因、数学模型与画质影响三个维度建立了视频抖动的基础认知框架。核心要点可归纳为:

  • 抖动成因决定频段特征,频段特征决定防抖器件的选型——低频用EIS,高频用OIS,宽频带需融合;
  • 旋转抖动对画质影响远大于平移,设计运动估计时应优先保证旋转分量的精度;
  • 运动模糊是曝光时间内的积分效应,任何后处理算法都无法恢复,必须依靠光学或传感器位移补偿;
  • 抖动对编码效率的损害常被忽视,在码率受限场景中,防抖带来的编码增益可能比单纯提高码率更有效。