4. 多相机系统架构

在智慧工厂质检场景中,单相机往往只能覆盖一个工位或一个视角,而真实产线需要同时观测多个面、多个工位或多道工序。多相机系统架构的核心,不是简单把几台相机接到同一台电脑上,而是要让它们在时间上同步、空间上统一、数据上汇聚、算力上匹配。本节围绕同步、触发、标定、数据流与部署五个关键环节展开。

一、核心原理:多相机系统的四条主线

多相机系统可以拆解为四条相互耦合的主线:

  • 时间线:所有相机必须在同一时刻曝光,否则运动工件在不同相机中位置不一致,融合结果会错位。
  • 触发线:由编码器、光电开关或PLC发出硬触发信号,决定“何时拍”。
  • 空间线:通过标定建立各相机坐标系与产线/机器人坐标系之间的映射,决定“拍到的点在哪里”。
  • 数据线:图像从相机到工控机、再到边缘服务器或云端,决定“拍完怎么用”。
多相机架构的本质是:用统一的触发源锁定时间,用统一的标定模型锁定空间,用匹配的算力与带宽锁定实时性。

二、同步与触发:硬触发优先,软触发兜底

同步方式主要分为硬触发同步和软触发同步。硬触发通过GPIO或工业总线将同一脉冲分发给所有相机,抖动通常在微秒级;软触发依赖主机软件依次下发命令,抖动可达毫秒级,仅适合低速或非严格同步场景。

典型硬触发链路为:编码器/光电开关 → PLC或触发控制器 → 多路分光器 → 各相机Trigger In。若相机支持PTP(IEEE 1588),也可通过以太网实现亚微秒级同步,减少布线复杂度。

# 典型硬触发参数配置(以GigE相机为例)
TriggerMode      = On
TriggerSource    = Line0
TriggerActivation= RisingEdge
ExposureTime     = 200 us
TriggerDelay     = 0 us
LineDebounceTime = 5 us
# 多相机时,所有相机共用同一触发源,仅保留一台作为主时钟

需要注意:曝光时间、触发延迟和产线速度必须联合计算。若工件在曝光期间移动超过一个像素,就会产生运动模糊;若触发延迟不一致,多相机图像会出现系统性偏移。

三、标定:把多相机统一到同一坐标系

多相机标定通常分三步:单相机内参标定、多相机外参标定、手眼标定。内参解决镜头畸变与像素焦距;外参解决相机之间的相对位姿;手眼标定解决相机与机器人或产线坐标系的转换。

常用工具包括OpenCV、MATLAB Camera Calibrator、Halcon等。标定板建议使用高精度陶瓷或玻璃基板,覆盖整个视场,并在不同姿态下采集20~30张图像。标定完成后,用重投影误差评估质量,一般要求小于0.2像素。

# OpenCV多相机标定核心流程
1. 采集各相机对标定板的图像
2. 检测角点,计算单相机内参与畸变
3. 固定标定板,求相机间外参 R,t
4. 用重投影误差筛选异常图像
5. 输出统一坐标系下的变换矩阵
6. 现场用标准件验证,误差超限则重标
标定不是一次性的。相机被碰撞、镜头更换、温度大幅变化后,都应重新验证外参。建议每周用标准件做一次快速校验。

四、数据流与部署:工控机与边缘计算的分工

多相机数据流通常遵循“采集—预处理—推理—融合—决策”的链路。工控机负责实时采集、硬触发控制和轻量预处理;边缘服务器负责深度学习推理和多相机结果融合;MES/云端负责追溯与模型迭代。

带宽是常见瓶颈。以4台500万像素、30fps、8bit灰度相机为例,原始数据率约为:

500万 × 30fps × 1Byte × 4台 ≈ 600 MB/s
若为彩色8bit,则约 1.8 GB/s
建议:GigE Vision 使用多网卡分流;USB3.0 注意控制器带宽;
高帧率场景优先采用相机端压缩或ROI裁剪。

部署形态上,常见有三种:集中式(一台高性能工控机接多相机)、分布式(每台工控机接1~2台相机,边缘服务器汇聚)、混合式(工控机做实时控制,边缘做AI推理)。选择依据是节拍、相机数量、模型复杂度和预算。

部署形态 适用场景 优点 风险
集中式 相机少、节拍慢、预算有限 结构简单、成本低 单点故障、带宽压力大
分布式 多工位、高节拍、AI模型重 扩展性好、故障隔离 网络与时间同步复杂
混合式 实时控制+AI推理并重 兼顾实时性与算力 架构与运维要求高

五、案例与复盘:某3C外壳多相机质检线

某3C外壳质检线使用6台相机:4台侧视、1台俯视、1台底部。初期采用软触发,结果侧视与俯视图像在传送带速度波动时出现约3mm错位,融合算法误判率升高。改造后引入编码器硬触发,所有相机共用同一脉冲,并将曝光时间从800μs降至250μs,错位降至0.2mm以内。

随后又发现边缘服务器推理延迟波动大,原因是6路图像同时上传导致网络拥塞。最终采用“工控机端ROI裁剪+JPEG压缩+边缘端批量推理”的方案,单帧端到端延迟从120ms降至45ms,满足产线节拍。

常见误区:只关注相机分辨率,忽视触发同步与标定精度;把多相机简单理解为“多插几根网线”;标定后不做现场验证;边缘服务器与工控机时间未统一。这些问题往往比算法本身更影响最终检出率。
多相机质检系统架构:触发—采集—标定—推理—融合 编码器/光电 硬触发源 PLC/触发控制器 分光与延时 多相机采集组 CAM1 CAM2 CAM3 CAM4 同步曝光 · 统一时间戳 工控机 实时采集 ROI裁剪/压缩 触发时序控制 标定参数管理 节拍:≤50ms/帧 边缘服务器 AI推理 多相机融合 缺陷判定 结果上传MES 延迟:≤45ms 标定与坐标统一 内参 · 外参 · 手眼 重投影误差 < 0.2px 标准件周期校验 数据流与带宽规划 4×500万@30fps ≈ 600MB/s(灰度) 多网卡分流 · ROI裁剪 · 相机端压缩 时间戳对齐 · 结果追溯 统一触发锁定时间 · 统一标定锁定空间 · 工控机保实时 · 边缘服务器保算力

综上,多相机系统架构的关键在于:用硬触发和统一时间戳解决“同时拍”,用标定和坐标变换解决“拍得准”,用合理的工控机与边缘计算分工解决“算得快”。三者缺一不可,任何一环薄弱都会直接反映到最终检出率和误判率上。