1. 课程导论：多摄像头系统的应用场景、技术挑战与学习路径

大家好，我是这门课的主讲。在嵌入式视觉领域摸爬滚打了十几年，我见过太多单摄像头搞不定的场景。你想想看，一个摄像头就像一个人用一只眼睛看世界——视野有限，没有深度，稍微遮挡就抓瞎。多摄像头系统，说白了就是给机器装上“复眼”。

这门课不讲虚的，咱们直接切入工程实战。从硬件选型、同步触发、带宽计算，到散热结构、标定部署，每一步我都会把踩过的坑、试过的错，原原本本摊开来讲。

1.1 多摄像头系统的典型应用场景

先看看多摄像头到底用在哪儿。我把它分成三大类，每一类我都亲手做过。

应用领域	典型场景	摄像头数量	核心需求
全景监控	机场、体育场馆、智慧城市	4~16路	无缝拼接、低延迟、7×24小时稳定
3D重建	文物数字化、工业检测、影视特效	6~120路	亚毫秒级同步、高帧率、高分辨率
自动驾驶环视	AVM环视、电子后视镜、泊车辅助	4~12路	实时拼接、低功耗、车规级可靠性

全景监控

我记得2018年帮一个智慧园区做方案，客户要求用4路200万像素摄像头覆盖一个十字路口。当时最大的坑不是图像拼接算法，而是——4路视频流同时写入SD卡，写入带宽直接爆了。后来换成SSD + 环形缓冲区才解决。

全景监控的核心痛点：多路视频流的存储与传输。你想想看，4路1080p@30fps，H.264压缩后每路约4Mbps，总带宽16Mbps。如果换成4路4K@30fps，总带宽直接飙到80Mbps以上。网口、存储、CPU解码能力，哪个先扛不住？

3D重建

3D重建对同步的要求，可以说是“变态级”的。我曾经做过一个120台相机的同步采集系统，用于人体动态三维重建。要求所有相机在同一个时刻曝光，误差不能超过100微秒。

为什么会这么严格？因为人体在运动，哪怕1毫秒的偏差，重建出来的模型就会出现“鬼影”——手指位置对不上，衣服褶皱错位。嗯，这里要注意：软件同步（NTP）在这种场景下完全不可靠，必须用硬件触发（GPIO或PTP）。

自动驾驶环视

环视系统我做过两版。第一版用USB摄像头，结果发现——USB总线是共享带宽的，4路摄像头同时传输，帧率掉得惨不忍睹。后来全部换成GMSL（千兆多媒体串行链路）接口，用同轴电缆传输，稳定多了。

环视系统的特殊挑战：车规级环境。温度范围-40°C~85°C，振动、EMC干扰、电源波动……这些在实验室里根本想不到。我建议做环视的朋友，一开始就按车规级选型，别走弯路。

1.2 技术挑战：同步、带宽、散热

多摄像头系统有三个绕不开的坎：同步、带宽、散热。这三个问题不解决，后面的算法、应用全是空中楼阁。

同步：多双眼睛的“快门”必须同时按下

同步分两种：软件同步和硬件同步。

• 软件同步：通过NTP、PTP协议对齐系统时间。精度一般在毫秒级，适合全景监控这种对同步要求不高的场景。
• 硬件同步：通过FPGA或MCU输出PWM触发信号，直接控制相机曝光。精度可达微秒甚至纳秒级，3D重建必须用这个。

带宽：数据洪流怎么扛？

多摄像头系统最直接的问题就是数据量。我列个表，你感受一下：

分辨率	帧率	单路带宽（RAW）	4路总带宽	8路总带宽
1080p	30fps	~1.5 Gbps	~6 Gbps	~12 Gbps
4K	30fps	~6 Gbps	~24 Gbps	~48 Gbps
4K	60fps	~12 Gbps	~48 Gbps	~96 Gbps

你看，8路4K@60fps的RAW数据接近100Gbps。USB 3.0的理论带宽才5Gbps，千兆网口只有1Gbps。所以，多摄像头系统必须做压缩和预处理。要么在相机端做ISP和编码，要么用FPGA做硬件加速，把原始数据压缩后再传输。

散热：被忽视的“隐形杀手”

散热问题，我是在一个户外监控项目里真正领教到的。夏天40°C高温，4路摄像头加上嵌入式主板，机箱内部温度直接飙到85°C。结果呢？摄像头频繁掉线，主板降频，最后系统直接死机。

多摄像头系统的散热挑战：

• 摄像头本身发热：尤其是高帧率、高分辨率相机，CMOS和ISP芯片的功耗不容小觑。
• 主控芯片发热：多路视频解码、拼接、编码，CPU/GPU/FPGA的功耗可能达到几十瓦。
• 密闭环境：户外设备箱、车载环境，空气流通差，热量容易积聚。

1.3 课程整体架构与学习路径

这门课一共30章，我把它分成四个阶段。你跟着这个路径走，基本能覆盖多摄像头工程部署的方方面面。

四个阶段层层递进：

• 基础篇（第1~6章）：帮你建立多摄像头系统的全局认知。从摄像头选型、接口协议（USB、GMSL、FPD-Link、MIPI），到同步原理和带宽估算方法。学完这部分，你至少能画出一份靠谱的系统框图。
• 同步篇（第7~12章）：深入硬件同步和软件同步的工程实现。包括FPGA触发信号设计、PTP协议在嵌入式平台上的移植、多相机联合标定。这部分我会给出完整的代码和时序图。
• 部署篇（第13~22章）：解决实际部署中的“硬骨头”。嵌入式平台选型（Jetson、RK3588、Zynq）、散热仿真与结构设计、多路视频存储方案（环形缓冲区、RAID）、网络传输优化（RTSP、SRT、WebRTC）。
• 实战篇（第23~30章）：三个完整项目实战——4路全景监控系统、12路3D人体重建系统、4路自动驾驶环视系统。每个项目都包含完整的硬件BOM、软件架构和调试记录。