📚 课程目录第3章同步控制核心概念

3、同步控制核心概念：帧同步、曝光同步、快门同步、传感器同步信号（VSYNC/HSYNC）的定义与作用

多摄模组的协同工作，其本质是让多个图像传感器在时间维度上“对齐”输出。如果各传感器各自为政，哪怕只有几毫秒的偏差，在拍摄高速运动物体或进行深度计算时，都会产生不可接受的视差错误或果冻效应。本章将深入剖析同步控制的四个核心概念：帧同步、曝光同步、快门同步，以及作为硬件基础的传感器同步信号（VSYNC/HSYNC）。理解这些概念，是设计稳定、高效多摄系统（如双摄虚化、3D结构光、多目拼接）的基石。

上图展示了多摄同步控制的核心架构。主控SoC通过I2C配置各传感器，并由同步信号发生器分发统一的VSYNC/HSYNC时序。三个传感器在相同的帧同步脉冲驱动下，各自完成曝光与读出，最终通过MIPI CSI接口将图像数据回传。下面我们将逐一拆解这些概念。

3.1 帧同步（Frame Sync）

核心原理

帧同步解决的是“何时开始一帧”的问题。在多摄系统中，每个传感器都有自己的内部时钟和帧率。如果没有外部强制对齐，即使标称30fps的两个传感器，其帧起始时刻也会存在随机相位差。帧同步通过向所有传感器发送统一的VSYNC（垂直同步）脉冲，强制它们在同一时刻开始新一帧的读出。这就像田径比赛中的发令枪，所有运动员必须在枪响瞬间起跑。

判断方法与操作流程

硬件连接：将主控的GPIO或专用同步引脚连接到各传感器的XVS（外部垂直同步）引脚。
寄存器配置：在传感器驱动中，将同步模式设置为“Slave Mode”（从模式），并配置VSYNC极性（上升沿或下降沿触发）。
验证方法：使用示波器同时测量两个传感器的VSYNC引脚，观察上升沿是否完全重合。更精确的方法是抓取MIPI帧起始码（FS），确认时间戳差值小于一个行周期。

  实战场景：在双摄虚化应用中，主摄和副摄必须同时捕捉同一场景。若帧同步偏差超过1行时间（约20μs），在拍摄快速移动的车辆时，两幅图像的车辆位置会出现明显错位，导致深度图出现空洞或错误边缘。

常见误区

误区：认为帧同步就是曝光同步。帧同步只保证“开始读出”的时刻一致，但曝光可能发生在读出之前。如果两个传感器的曝光时长不同，即使帧同步完美，曝光中心点也可能错开。因此，帧同步是基础，但不足以解决所有问题。

3.2 曝光同步（Exposure Sync）

核心原理

曝光同步关注的是“光积分窗口”的对齐。对于卷帘快门传感器，曝光是逐行进行的。曝光同步要求所有传感器的每一行曝光起始时刻和结束时刻都严格对齐。这通常通过配置相同的曝光时间（Coarse Integration Time）和相同的行偏移（Line Offset）来实现。曝光同步是消除运动物体视差（Motion Artifact）的关键。

同步类型	对齐对象	精度要求	典型应用
帧同步	帧起始时刻	±1行时间	多目拼接、基础双摄
曝光同步	每行曝光窗口	±1μs以内	3D结构光、运动物体拍摄
快门同步	曝光模式与时长	完全一致	高速摄影、HDR融合

操作流程

通过I2C读取各传感器的当前曝光行数（如主摄为1200行，副摄为1000行）。
以最长的曝光时间为基准，调整短曝光传感器的增益或数字增益，使曝光行数一致。
配置相同的VTS（垂直总尺寸）和HTS（水平总尺寸），确保帧内时序完全一致。
使用软件触发模式，同时向所有传感器发送曝光开始命令。

经验提醒：在暗光环境下，不同传感器的自动曝光算法可能收敛到不同值。建议在同步模式下，由主摄计算曝光参数，并通过I2C将相同的曝光时间、增益写入副摄，实现“主从曝光锁定”。

3.3 快门同步（Shutter Sync）

核心原理

快门同步涉及的是传感器曝光方式的选择与匹配。当前主流传感器分为卷帘快门（Rolling Shutter）和全局快门（Global Shutter）。卷帘快门逐行曝光，成本低但存在果冻效应；全局快门所有行同时曝光，适合高速运动场景。在多摄系统中，如果主摄是卷帘快门，副摄是全局快门，两者的图像特征完全不同，无法直接进行像素级融合。快门同步要求所有传感器采用相同的快门模式，并确保曝光时长一致。

案例拆解：运动相机双摄防抖

背景与约束：某运动相机品牌设计一款双摄防抖产品，要求在两颗IMX586传感器（均为卷帘快门）上实现6轴防抖。初始现象是，在骑行场景中，画面边缘出现明显的“抖动撕裂”。

分析过程：通过日志分析发现，两颗传感器的曝光时间分别为1/1000s和1/800s，且由于自动曝光算法独立运行，曝光起始时刻相差约2行时间。在快速颠簸时，两帧图像的畸变方向不一致，导致防抖算法无法找到匹配特征点。

实际操作：

将两颗传感器设置为“主从模式”，由Sensor 0输出VSYNC作为Sensor 1的外部触发。
在驱动层固定曝光时间，强制两者均为1/1000s，关闭副摄的独立自动曝光。
在ISP中配置“同步双帧”模式，确保两帧数据在同一MIPI虚拟通道内交错输出。

结果对比：修改后，防抖算法的特征点匹配成功率从82%提升至99.5%，画面撕裂完全消失。代价是副摄在极端暗光下的噪点略有增加，但通过时域降噪补偿。

复盘经验：快门同步不仅仅是硬件触发，还需要软件层面的曝光参数锁定。任何一方的自动算法都必须让位于同步控制。

3.4 传感器同步信号：VSYNC与HSYNC

核心原理

VSYNC（垂直同步）和HSYNC（水平同步）是传感器输出的两个关键时序信号。VSYNC标志一帧的开始与结束，通常为低电平有效，持续1~4个行周期。HSYNC标志每一行有效像素的起始，其频率等于帧率乘以总行数。在同步控制中，主控通过外部VSYNC输入（XVS）来强制传感器对齐，而HSYNC则用于行级精度的调整。

// 传感器驱动中同步配置示例（伪代码）
sensor_set_register(0x0100, 0x00); // 进入待机模式
sensor_set_register(0x3100, 0x01); // 使能外部同步模式
sensor_set_register(0x3101, 0x03); // VSYNC上升沿触发
sensor_set_register(0x3102, 0x00); // HSYNC作为输出
sensor_set_register(0x0100, 0x01); // 启动流

判断方法

测量VSYNC：使用逻辑分析仪抓取，确认周期为33.3ms（30fps），高电平宽度为1行时间。
测量HSYNC：确认频率为30fps × 总行数（如1125行）= 33.75kHz。
相位差：测量两个传感器VSYNC上升沿之间的时间差，应小于1μs。

风险提示：部分传感器在外部同步模式下，内部PLL需要重新锁定，可能导致前几帧输出异常。务必在驱动初始化时预留至少10帧的稳定时间，并在ISP端丢弃前5帧。

总结复盘

同步控制的四个概念层层递进：帧同步是骨架，曝光同步是血肉，快门同步是灵魂，而VSYNC/HSYNC是神经。在实际工程中，建议按照“先硬件触发，再软件锁参，最后算法验证”的顺序推进。任何一步的疏忽都可能导致最终成像质量不达标。多摄同步不是简单的“连线”，而是一个涉及驱动、ISP、算法和系统集成的系统工程。