1. 课程导入与工程全景
多摄像头同步采集与标定，是机器人、自动驾驶、工业检测和三维重建等系统中非常关键的一环。它的目标不是简单地把几路摄像头接上并保存视频，而是要让多路图像在时间上对齐、在空间上可换算，从而让后续的视觉算法能够把不同视角的信息当作同一个场景的不同观测来使用。如果时间不同步，运动物体会在不同画面中出现在错误的位置；如果空间未标定，三角测量、深度估计、BEV 融合和三维重建都会失去几何意义。
在 Jetson 平台上做这件事，既有优势也有约束。优势是 Jetson 具备 GPU、ISP、编码器和丰富的 MIPI CSI 接口，适合在边缘端直接完成多路采集、同步、标定和推理；约束是 CSI 通道数量、带宽、内存、功耗和散热都有限，不能简单照搬服务器上的多相机方案。因此，本课程的第一节先建立工程全景：典型场景需要什么、Jetson 怎么选、技术链路如何串起来、学习路径怎样安排。
典型应用场景与同步需求
多摄像头系统常见的场景可以按“同步精度要求”和“空间标定要求”两个维度来理解。例如，环视泊车和机器人避障通常要求多路摄像头在同一时刻曝光，时间偏差最好控制在毫秒级以内，否则近距离快速移动的物体会产生明显错位；而三维重建、双目深度和工业尺寸测量，除了时间同步，还要求相机内参、畸变系数和外参达到较高精度，外参误差哪怕只有 0.5°，在 5 米距离上也会带来约 4.4 厘米的投影偏差。
另一个典型场景是自动驾驶数据采集。车辆上可能同时存在前视、侧视、后视和环视摄像头，它们需要统一时间戳，以便与 IMU、GNSS、激光雷达做融合。此时同步不仅是“同时曝光”，还包括统一时钟源和统一时间戳。如果摄像头各自使用本地时钟，即使曝光时刻接近，记录下来的时间戳也可能相差几十毫秒，导致融合失败。
Jetson 平台选型要点
Jetson 系列中，Nano、Xavier NX、Orin NX、Orin AGX 等型号在 CSI 通道数、PCIe 通道、内存带宽和算力上差异明显。选型时不能只看 TOPS，而要先看摄像头接口数量与带宽。例如，Jetson Orin NX 通常提供多路 MIPI CSI 接口，适合 4 到 8 路中低分辨率摄像头；Orin AGX 具备更多 CSI 通道和更高内存带宽，适合 8 路以上 1080p 或更高分辨率采集。若使用 GMSL2 或 USB 摄像头，还要考虑解串器、PCIe 采集卡和 USB 控制器带宽。
第二个要点是同步信号能力。很多 CSI 摄像头支持外部触发（external trigger）和闪光同步（flash sync），Jetson 可以通过 GPIO 或专用同步板输出周期性触发信号，让多路摄像头在同一时刻曝光。选型时要确认载板是否引出触发引脚、是否支持硬件同步，以及驱动是否支持多路 sensor 的同步模式。
第三个要点是软件栈与驱动支持。Jetson 上常用 Argus、V4L2、GStreamer 和 DeepStream。Argus 对多摄像头同步和 ISP 控制更友好，但接口封闭；V4L2 更灵活，适合自定义触发和标定采集。选型时要确认目标摄像头在 JetPack 版本下有可用驱动，并支持时间戳、触发模式和参数控制。
整体技术链路
从工程角度看，多摄像头同步采集与标定可以拆成一条清晰的技术链路：硬件连接 → 同步触发 → 图像采集 → 时间戳对齐 → 单目标定 → 多目标定 → 验证与输出。硬件连接包括 CSI 排线、GMSL 解串器、供电和触发线；同步触发决定曝光时刻是否一致；图像采集负责把多路数据送入内存；时间戳对齐把不同来源的时间统一到同一时钟；单目标定求内参和畸变；多目标定求相机之间的旋转和平移；最后用重投影误差和实际融合效果验证标定质量。
关键参数与判断依据
在同步采集阶段，最值得关注的参数是同步误差和时间戳一致性。同步误差指多路摄像头实际曝光时刻的最大偏差，通常用示波器观察触发信号与闪光信号来测量；时间戳一致性指记录到的时间戳是否来自同一时钟源。若使用硬件触发，同步误差可以做到微秒级；若使用软件触发，误差通常在几毫秒到几十毫秒，不适合高速运动场景。
在标定阶段，核心判断依据是重投影误差。单目标定后，用棋盘格角点重投影回图像，误差应小于 0.5 像素；多目标定后，用同一场景中的特征点在不同相机间重投影，误差应小于 1 像素。如果误差偏大，常见原因包括：标定板图像模糊、角点检测不准、相机未完全固定、同步触发未生效导致运动模糊，或者外参初值太差。
学习路径与工程闭环
本课程后续会沿着“环境与选型 → 同步采集 → 单目标定 → 多目标定 → 工程落地”的路径展开。每一节都会尽量给出可执行的对象、参数和判断依据。例如，在同步采集部分，会具体说明如何用 GPIO 输出 30 Hz 触发信号、如何用 Argus 或 V4L2 记录时间戳、如何用示波器或日志判断同步是否生效；在标定部分，会给出棋盘格规格、采集数量、角点检测参数和重投影误差的计算方式。
需要强调的是，多摄像头同步采集与标定不是一次性的“配置任务”，而是一个需要反复验证的工程闭环。采集到的图像是否真正同步，标定参数是否在真实场景中有效，最终都要通过融合结果、深度图或三维重建效果来检验。只有把硬件、驱动、时间戳、标定和验证串成一条完整链路，才能在 Jetson 上构建稳定可用的多摄像头视觉系统。