一、课程导论与全景概览

大家好，欢迎来到《多相机系统搭建与图像传输延迟优化》的第一章。

先说说我自己的经历。几年前我接手一个自动驾驶路测项目，车上装了6个摄像头，结果图像传到工控机时，左边摄像头比右边慢了整整两帧。车在转弯，画面却像在放幻灯片。嗯，那种感觉，你懂的。

从那以后我就明白——多相机系统不是把几个摄像头拼在一起那么简单。它背后是一整套工程学问。

1.1 什么是多相机系统？

说白了，多相机系统就是让多个摄像头协同工作，覆盖更大的视野、获取更丰富的信息。它不光是硬件堆叠，更涉及同步触发、数据融合、传输调度等一系列问题。

我个人习惯把多相机系统分成三类：

类型	典型配置	核心目标
分布式独立系统	各相机独立工作，数据汇总	多角度记录，事后分析
同步采集系统	硬件触发，帧级对齐	实时拼接、3D重建
异构混合系统	不同分辨率/帧率相机混用	兼顾全局与细节

1.2 应用场景：三个典型领域

自动驾驶

这是最苛刻的场景。一辆L4级自动驾驶车通常搭载8-12个摄像头，覆盖360度视野。环视、前视、侧视、后视，每个相机都有自己的使命。

我记得有一次在高速测试，一个相机因为传输延迟导致目标检测晚了200毫秒——车已经过去了，障碍物才在屏幕上出现。200毫秒，在高速上就是好几米。

• 环视相机：4-6个，用于泊车和低速场景
• 前视相机：2-3个，负责车道线和交通标志
• 侧视/后视：2-3个，盲区监测

安防监控

安防领域对延迟的容忍度稍高，但对画质和覆盖范围要求极高。一个大型园区可能有上百个摄像头，如何保证所有画面实时回传、不丢帧，是个不小的挑战。

我曾经帮一个客户优化过监控系统，他们用的是老旧交换机，结果高峰期画面卡成PPT。后来换了带QoS的交换机，问题才解决。嗯，有时候瓶颈不在相机本身。

工业检测

工业场景最看重的是稳定性和一致性。一条产线上4-6个相机同时拍摄同一个工件，任何一帧的延迟都可能导致误判。

举个例子，一个电子元件检测工位，相机需要在传送带移动过程中抓拍。如果某个相机延迟了10毫秒，拍到的位置就偏了，检测结果自然不准。

1.3 三大核心挑战

做多相机系统，你绕不开这三个坎：同步、标定、传输延迟。我按踩坑频率排个序。

挑战一：同步

同步分两种：时间同步和帧同步。

• 时间同步：所有相机使用同一个时钟基准，比如PTP（精确时间协议）
• 帧同步：所有相机在同一时刻开始曝光，硬件触发线是常见方案

我曾经犯过一个低级错误——用软件发指令让相机同时拍照。结果因为网络抖动，每个相机的启动时间差了十几毫秒。后来老老实实拉了根触发线，问题迎刃而解。

挑战二：标定

标定是为了知道每个相机在空间中的位置和姿态。没有准确的标定，多相机数据就无法对齐。

标定流程大致如下：

1. 拍摄标定板（棋盘格或圆点阵）
2. 提取角点或圆心坐标
3. 计算内参（焦距、畸变）和外参（旋转、平移）
4. 优化重投影误差

挑战三：传输延迟

这是本课程的重头戏。传输延迟包括：

延迟环节	典型耗时	优化方向
传感器曝光	10-30ms	调整曝光时间、使用全局快门
ISP处理	5-20ms	硬件加速、降低分辨率
编码压缩	10-50ms	选择轻量编码、硬件编码器
网络传输	1-100ms	优化协议、使用实时传输
解码与显示	5-30ms	GPU解码、零拷贝

你看，每个环节都在消耗时间。优化延迟不是只改一个地方，而是全链路排查。

1.4 课程目标与知识体系

这门课的目标很明确：让你能独立搭建一套可用的多相机系统，并且知道怎么把延迟压到最低。

下面这张图是我梳理的课程知识体系，你可以先有个整体印象。

整个课程会围绕同步、标定、传输延迟这三个核心展开。每一章我都会结合自己踩过的坑、用过的方案来讲。你不需要从头摸索，直接拿来用就行。