1. 课程导入
在机器人抓取、装配、焊接、码垛与移动操作等任务中，机器人要完成动作，首先必须知道目标物体“在哪里、朝向如何”。这个“在哪里、朝向如何”的数学表达，就是位姿。机器人视觉位姿评测与部署，研究的正是如何用相机与算法稳定地估计目标位姿，并判断估计结果是否可信、是否满足机器人作业精度要求，最终把算法部署到真实产线或机器人控制器上。
本课程不是单纯讲某个视觉算法，而是围绕“测得准、评得清、跑得稳”三条主线展开。测得准，指位姿估计的精度与鲁棒性；评得清，指有明确的评测指标、数据集与误差分析方法；跑得稳，指算法在真实算力、节拍、光照与通信条件下可长期运行。
一、核心概念：位姿、坐标系与误差
位姿由位置和姿态组成。位置通常用三维平移向量表示，姿态可用旋转矩阵、欧拉角或四元数表示。机器人视觉中，最常见的表达是 4×4 齐次变换矩阵：
T = [ R t ]
[ 0 1 ]
R：3×3 旋转矩阵，描述姿态
t：3×1 平移向量，描述位置
T：目标坐标系相对参考坐标系的位姿
理解位姿评测，必须先理解坐标系链。典型链路为：世界坐标系 → 机器人基坐标系 → 相机坐标系 → 目标物体坐标系。任何一环标定不准，最终位姿都会产生系统性偏差。因此，位姿误差通常分为平移误差和旋转误差：平移误差用毫米或米衡量，旋转误差用角度衡量。常见指标包括平均平移误差、平均旋转误差、成功率、召回率以及满足阈值条件的比例。
另一个关键概念是真值。没有真值，就无法评测。真值可以来自高精度测量设备、机器人示教位置、标记点测量或仿真环境。评测的本质，是把算法输出与真值放在同一坐标系下比较。
二、整体框架：从数据到部署的五层结构
本课程的整体框架可以概括为五层：感知层、标定层、估计层、评测层、部署层。感知层负责相机成像与数据采集；标定层解决相机内参、外参和手眼关系；估计层完成目标检测、关键点提取与位姿求解；评测层计算误差并判断是否达标；部署层把算法封装为可调用服务或嵌入式程序，接入机器人控制系统。
这五层不是单向流水线，而是闭环。评测层发现误差偏大时，要回到标定层检查外参，或回到估计层调整算法；部署层发现节拍不达标时，要回到估计层做模型轻量化。只有形成闭环，系统才会越调越稳。
三、方法流程：一次完整位姿评测怎么做
下面给出一次标准位姿评测的流程清单，后续章节会逐项展开。
- 明确任务与精度要求：例如抓取任务要求平移误差小于 2 mm，旋转误差小于 1°。
- 搭建采集系统：确定相机型号、工作距离、光源方案与触发方式。
- 完成标定：标定内参、畸变和手眼关系，并验证重投影误差。
- 采集评测数据集：覆盖不同光照、遮挡、位姿和背景条件。
- 获取真值：用测量设备、示教位置或仿真生成真值。
- 运行位姿估计算法：输出目标位姿与置信度。
- 对齐坐标系并计算误差：统计平移、旋转误差与成功率。
- 分析失败样本：定位是标定、算法还是数据问题。
- 部署与回归测试：在真实控制器上复测，确认精度与节拍。
| 阶段 | 关键输入 | 关键输出 | 常见指标 |
|---|---|---|---|
| 标定 | 标定板图像、机器人位姿 | 内参、外参、手眼矩阵 | 重投影误差、标定残差 |
| 估计 | RGB/深度图、模型文件 | 目标位姿、置信度 | 平移误差、旋转误差 |
| 评测 | 估计结果、真值 | 误差分布、成功率 | ADD、ADD-S、阈值通过率 |
| 部署 | 模型、算力平台、接口 | 可调用服务、控制指令 | 推理时延、节拍、稳定性 |
四、案例与场景：从实验室到产线的差距
假设一个典型的机器人抓取场景：相机固定在机械臂末端，识别传送带上的金属零件并抓取。实验室中，算法在标准光照下平移误差约 1.5 mm，旋转误差约 0.8°，看起来达标。但搬到产线后，出现抓取偏移。复盘发现三个问题：一是产线振动导致手眼外参发生微小变化；二是金属表面反光使关键点检测不稳定；三是推理时延导致传送带上的零件位置已经变化。
这个案例说明，位姿评测不能只看平均误差，还要看最差样本和动态条件。评测集必须包含反光、遮挡、运动模糊和极端位姿。部署时还要考虑时间同步与坐标变换的实时性。
五、学习路径与复盘建议
建议按“概念 → 标定 → 估计 → 评测 → 部署”的顺序学习。每学完一层，都回到真实数据上做一次小闭环：采集少量图像，跑一次估计，算一次误差，记录问题。课程中的参数、指标和代码片段，都应结合自己的相机与机器人复现。
复盘时重点回答三个问题：误差主要来自标定、算法还是环境？评测指标是否覆盖了最差工况？部署后的精度和节拍是否满足任务要求？把这三个问题回答清楚，你就真正掌握了机器人视觉位姿评测与部署的核心能力。