1. 课程导论
3D视觉定位与手眼标定是智能机器人系统的核心感知与校准技术。本课程从工程实战出发，系统讲解从传感器选型、标定原理到算法部署的完整链路。本章首先梳理行业应用场景、课程目标与学习路径，帮助学员建立全局认知。
1.1 行业应用全景
3D视觉定位与手眼标定已广泛渗透至工业制造、物流搬运、医疗手术等关键领域。下表对比了三大典型行业的应用特点与技术要求：
| 行业领域 | 典型应用 | 核心传感器 | 标定精度要求 | 环境特点 |
|---|---|---|---|---|
| 工业机器人 | 抓取、装配、焊接、喷涂 | 结构光相机、双目相机 | ±0.1~0.5 mm | 高节拍、光照可控、多遮挡 |
| AGV/AMR | 自主导航、托盘对接、料箱搬运 | 激光雷达、RGB-D相机 | ±1~10 mm | 动态环境、光照变化、大范围 |
| 医疗手术 | 手术导航、穿刺定位、骨科磨削 | 双目内窥镜、结构光扫描仪 | ±0.5~2 mm | 无菌要求、空间受限、高可靠性 |
行业趋势： 2025年全球3D视觉引导机器人市场预计突破50亿美元，其中手眼标定是系统部署中耗时最长、故障率最高的环节，掌握标准化标定流程可缩短现场调试时间60%以上。
1.2 工业机器人：从示教到视觉引导
传统工业机器人依赖示教编程，无法适应工件位置偏差或型号切换。引入3D视觉后，机器人通过“眼在手”或“眼固定”构型实时获取目标点云，经手眼标定将视觉坐标映射到机器人基坐标系，实现柔性抓取与装配。
- 眼在手（Eye-in-Hand）： 相机安装在机器人末端，随机械臂移动，视野灵活但标定需解算相机与末端的固定变换。
- 眼固定（Eye-to-Hand）： 相机固定在工作台上方，视野固定，标定需解算相机与机器人基座的变换。
- 典型场景： 汽车零部件随机上料、3C电子精密装配、铸件毛坯飞边打磨。
1.3 AGV/AMR：自主导航与精准对接
AGV（自动导引车）与AMR（自主移动机器人）依赖3D视觉进行环境建图、定位与目标识别。手眼标定在此处体现为“车体-传感器”外参标定，即确定激光雷达或深度相机相对于车体坐标系的位置与姿态。
- 导航定位： 基于3D点云的SLAM与重定位，标定误差直接影响地图一致性。
- 精准对接： 托盘识别、料箱抓取、充电桩对接，要求标定精度优于10 mm。
- 多传感器融合： 激光雷达+IMU+轮式里程计，联合标定是系统稳定性的关键。
1.4 医疗手术：亚毫米级精度与安全冗余
在骨科、神经外科、介入治疗等场景中，3D视觉定位与手眼标定直接关系到手术安全。光学追踪系统（如NDI Polaris）与手术器械、患者解剖结构之间的标定，是导航精度的核心保障。
- 手术导航： 术前CT/MRI影像与术中3D点云配准，标定误差需控制在1 mm以内。
- 机器人辅助穿刺： 相机标定与机器人手眼标定联动，实现靶点自动瞄准。
- 法规要求： 医疗标定流程需可追溯、可验证，通常要求标定软件具备日志记录与误差报告功能。
1.5 课程目标与学习路径图
本课程旨在培养学员独立完成3D视觉定位系统搭建与手眼标定工程实施的能力。学习路径分为四个阶段，覆盖从理论到实战的完整闭环。
学习建议： 建议学员具备基础的线性代数、刚体变换与Python编程知识。每章均配有可运行的代码示例与数据集，请务必动手实践。
1.6 课程知识体系与章节结构
本课程共30章，按“基础→标定→实战→项目”四层递进组织。下表列出了各阶段对应的章节范围与核心知识点：
| 阶段 | 章节范围 | 核心知识点 | 实战产出 |
|---|---|---|---|
| 基础理论与传感器 | 第1~8章 | 相机模型、点云处理、传感器选型、坐标系变换 | 点云可视化工具、传感器数据采集脚本 |
| 标定原理与算法 | 第9~16章 | 手眼标定AX=XB、PnP、ICP、多传感器联合标定 | 标定算法库、标定精度评估工具 |
| 工程实战与调试 | 第17~24章 | 标定板设计、自动化标定流程、误差分析、鲁棒性优化 | 自动化标定系统、标定报告生成器 |
| 综合项目与部署 | 第25~30章 | 机器人抓取项目、AGV对接项目、手术导航项目 | 完整项目源码、部署文档与演示视频 |
1.7 学习资源与工具链
课程配套以下工具与资源，建议提前安装配置：
- 编程语言： Python 3.8+，推荐使用Anaconda环境管理。
- 核心库： Open3D (点云处理)、NumPy/SciPy (数值计算)、OpenCV (图像处理)、PyTorch (深度学习可选)。
- 仿真环境： Coppeliasim (原V-REP) 或 Gazebo，用于机器人-相机联合仿真。
- 数据集： 课程提供工业零件点云数据集、AGV场景数据集、手术模拟数据集，均可在课程页面下载。
- 标定工具： 棋盘格/圆点阵标定板PDF文件、3D打印标定块模型文件。
重要提醒： 手眼标定对硬件安装有严格要求。请确保相机与机器人/车体之间的连接刚性足够，避免标定过程中发生微米级位移。所有标定实验请在安全环境下进行，工业机器人需开启碰撞检测。