4. 多相机系统架构
在智慧工厂质检场景中,单相机往往只能覆盖一个工位或一个视角,而真实产线需要同时观测多个面、多个工位或多道工序。多相机系统架构的核心,不是简单把几台相机接到同一台电脑上,而是要让它们在时间上同步、空间上统一、数据上汇聚、算力上匹配。本节围绕同步、触发、标定、数据流与部署五个关键环节展开。
一、核心原理:多相机系统的四条主线
多相机系统可以拆解为四条相互耦合的主线:
- 时间线:所有相机必须在同一时刻曝光,否则运动工件在不同相机中位置不一致,融合结果会错位。
- 触发线:由编码器、光电开关或PLC发出硬触发信号,决定“何时拍”。
- 空间线:通过标定建立各相机坐标系与产线/机器人坐标系之间的映射,决定“拍到的点在哪里”。
- 数据线:图像从相机到工控机、再到边缘服务器或云端,决定“拍完怎么用”。
二、同步与触发:硬触发优先,软触发兜底
同步方式主要分为硬触发同步和软触发同步。硬触发通过GPIO或工业总线将同一脉冲分发给所有相机,抖动通常在微秒级;软触发依赖主机软件依次下发命令,抖动可达毫秒级,仅适合低速或非严格同步场景。
典型硬触发链路为:编码器/光电开关 → PLC或触发控制器 → 多路分光器 → 各相机Trigger In。若相机支持PTP(IEEE 1588),也可通过以太网实现亚微秒级同步,减少布线复杂度。
# 典型硬触发参数配置(以GigE相机为例)
TriggerMode = On
TriggerSource = Line0
TriggerActivation= RisingEdge
ExposureTime = 200 us
TriggerDelay = 0 us
LineDebounceTime = 5 us
# 多相机时,所有相机共用同一触发源,仅保留一台作为主时钟
需要注意:曝光时间、触发延迟和产线速度必须联合计算。若工件在曝光期间移动超过一个像素,就会产生运动模糊;若触发延迟不一致,多相机图像会出现系统性偏移。
三、标定:把多相机统一到同一坐标系
多相机标定通常分三步:单相机内参标定、多相机外参标定、手眼标定。内参解决镜头畸变与像素焦距;外参解决相机之间的相对位姿;手眼标定解决相机与机器人或产线坐标系的转换。
常用工具包括OpenCV、MATLAB Camera Calibrator、Halcon等。标定板建议使用高精度陶瓷或玻璃基板,覆盖整个视场,并在不同姿态下采集20~30张图像。标定完成后,用重投影误差评估质量,一般要求小于0.2像素。
# OpenCV多相机标定核心流程
1. 采集各相机对标定板的图像
2. 检测角点,计算单相机内参与畸变
3. 固定标定板,求相机间外参 R,t
4. 用重投影误差筛选异常图像
5. 输出统一坐标系下的变换矩阵
6. 现场用标准件验证,误差超限则重标
四、数据流与部署:工控机与边缘计算的分工
多相机数据流通常遵循“采集—预处理—推理—融合—决策”的链路。工控机负责实时采集、硬触发控制和轻量预处理;边缘服务器负责深度学习推理和多相机结果融合;MES/云端负责追溯与模型迭代。
带宽是常见瓶颈。以4台500万像素、30fps、8bit灰度相机为例,原始数据率约为:
500万 × 30fps × 1Byte × 4台 ≈ 600 MB/s
若为彩色8bit,则约 1.8 GB/s
建议:GigE Vision 使用多网卡分流;USB3.0 注意控制器带宽;
高帧率场景优先采用相机端压缩或ROI裁剪。
部署形态上,常见有三种:集中式(一台高性能工控机接多相机)、分布式(每台工控机接1~2台相机,边缘服务器汇聚)、混合式(工控机做实时控制,边缘做AI推理)。选择依据是节拍、相机数量、模型复杂度和预算。
| 部署形态 | 适用场景 | 优点 | 风险 |
|---|---|---|---|
| 集中式 | 相机少、节拍慢、预算有限 | 结构简单、成本低 | 单点故障、带宽压力大 |
| 分布式 | 多工位、高节拍、AI模型重 | 扩展性好、故障隔离 | 网络与时间同步复杂 |
| 混合式 | 实时控制+AI推理并重 | 兼顾实时性与算力 | 架构与运维要求高 |
五、案例与复盘:某3C外壳多相机质检线
某3C外壳质检线使用6台相机:4台侧视、1台俯视、1台底部。初期采用软触发,结果侧视与俯视图像在传送带速度波动时出现约3mm错位,融合算法误判率升高。改造后引入编码器硬触发,所有相机共用同一脉冲,并将曝光时间从800μs降至250μs,错位降至0.2mm以内。
随后又发现边缘服务器推理延迟波动大,原因是6路图像同时上传导致网络拥塞。最终采用“工控机端ROI裁剪+JPEG压缩+边缘端批量推理”的方案,单帧端到端延迟从120ms降至45ms,满足产线节拍。
综上,多相机系统架构的关键在于:用硬触发和统一时间戳解决“同时拍”,用标定和坐标变换解决“拍得准”,用合理的工控机与边缘计算分工解决“算得快”。三者缺一不可,任何一环薄弱都会直接反映到最终检出率和误判率上。