1. 课程导论
四相机3D视觉定位系统是一种基于多视角立体视觉原理的高精度空间感知方案。系统通过分布在空间四个不同方位的工业相机同步采集目标图像，利用三角测量与多视图几何约束，重建目标物体的三维位姿（X、Y、Z、Rx、Ry、Rz）。相比单目或双目系统，四相机配置在抗遮挡、测量精度、视野覆盖和鲁棒性方面具有显著优势。
核心定位： 本课程面向机器视觉工程师、自动化系统集成商与机器人应用开发者，提供从硬件选型、标定、立体匹配到机器人手眼标定与系统集成的完整工程方法论。
1.1 系统架构概览
一个典型的四相机3D视觉定位系统由以下模块构成：
- 图像采集模块： 4台工业相机（全局快门、高帧率）+ 同步触发控制器 + 光学镜头与光源。
- 标定模块： 相机内参标定、四相机外参联合标定、畸变校正与立体校正。
- 立体匹配与重建模块： 多视图特征匹配、视差计算、三角化生成三维点云或位姿。
- 手眼标定模块： 相机坐标系与机器人基坐标系/AGV车体坐标系之间的变换关系求解。
- 定位与输出模块： 目标位姿解算、坐标转换、通信接口（TCP/IP、Modbus、Profinet）。
1.2 核心应用领域
| 应用领域 | 典型场景 | 关键需求 | 四相机优势 |
|---|---|---|---|
| 工业抓取 | 散乱工件抓取、料筐拾取、装配对位 | 高精度位姿、抗遮挡、节拍快 | 多视角覆盖，减少盲区；遮挡时仍有≥2个相机可见 |
| AGV导航 | 自动导引车定位、托盘对接、货架识别 | 大视野、实时性、环境光鲁棒 | 360°空间感知，无需旋转扫描；一次成像完成定位 |
| 高精度测量 | 汽车零部件尺寸检测、航空叶片轮廓、3C电子装配 | 微米级精度、重复性、可追溯 | 多基线约束，测量精度优于单双目系统；误差可控制在±0.05mm以内 |
选型建议： 工业抓取场景优先选用全局快门相机（如Sony IMX系列传感器），AGV导航可选用卷帘快门配合补光，高精度测量必须使用远心镜头或低畸变镜头。
1.3 课程目标
完成本课程学习后，学员将具备以下能力：
- 独立搭建四相机3D视觉定位系统 — 包括硬件选型、相机固定结构设计、光源与同步方案。
- 完成完整的相机标定与立体校正 — 使用张正友标定法 + 多相机联合标定，重投影误差 < 0.1 pixel。
- 实现多视图立体匹配与三维重建 — 掌握特征匹配（SIFT/ORB）、极线约束、三角化算法。
- 完成机器人手眼标定 — 求解 AX=XB 或 AX=YB 方程，标定精度达到平移 < 1mm、旋转 < 0.1°。
- 部署实际定位应用 — 输出标准位姿数据，集成到机器人控制器或AGV调度系统。
1.4 学习路径与章节规划
课程共30章，按工程实施流程分为五个阶段：
1.5 预备知识要求
| 知识领域 | 要求等级 | 建议自学资源 |
|---|---|---|
| 线性代数与空间几何 | ★★★ 必备 | 矩阵变换、四元数、欧拉角、刚体变换 |
| 相机成像原理 | ★★★ 必备 | 针孔模型、畸变模型、张正友标定法 |
| Python/C++编程 | ★★☆ 重要 | OpenCV、NumPy、Eigen库 |
| 机器人学基础 | ★★☆ 重要 | DH参数、正逆运动学、手眼标定 |
| 通信协议 | ★☆☆ 可选 | TCP/IP、Modbus TCP、Profinet |
重要提示： 本课程不从头讲解线性代数或OpenCV基础。如果对矩阵运算或相机模型不熟悉，建议在进入第3章前先完成预备知识复习。
1.6 课程配套资源
- 代码仓库： 每章提供完整的Python/C++示例代码，包含标定、匹配、位姿解算等核心算法。
- 数据集： 提供四相机同步采集的标定板图像、工件图像、AGV场景图像（含Ground Truth位姿）。
- 硬件清单： 推荐相机型号、镜头参数、光源规格、同步控制器选型表。
- 标定板文件： 可打印的棋盘格/圆点阵标定板PDF，含精确物理尺寸。
- 调试工具： 可视化标定结果、点云显示、位姿验证的辅助脚本。