📚 课程目录第3章视觉反馈系统概述

3. 视觉反馈系统概述

在机器人遥操作中，操作者与机器人往往处于物理分离的两个空间。如果没有视觉反馈，操作者只能依赖关节角度、力矩读数或听觉提示来判断机器人状态，这就像闭着眼睛拧螺丝——能感知“用力了”，却不知道“对准了没有”。视觉反馈系统的核心价值，就是把远端场景的几何、位姿、运动与接触状态，转化为操作者可理解、控制器可利用的信息流，使遥操作从“盲操作”变为“可观察、可校正、可闭环”的过程。

一、视觉反馈在遥操作中的作用

视觉反馈在遥操作中承担四类关键作用：

场景感知：提供远端工作空间的全局视图，帮助操作者识别目标物体、障碍物、工装夹具与机器人本体的相对位置。
位姿引导：通过图像或三维重建，给出末端执行器与目标之间的相对位姿，引导操作者完成对准、抓取、插入等精细动作。
运动确认：实时显示机器人运动轨迹与速度趋势，使操作者能判断指令是否被正确执行，及时发现延迟、抖动或漂移。
安全监控：当机器人接近奇异位形、关节限位或碰撞风险区域时，视觉反馈可叠加警示信息，辅助操作者提前干预。

从信息流角度看，视觉反馈不是简单的“摄像头画面”，而是“采集—传输—处理—呈现—再输入”的闭环链路。操作者看到画面后调整手柄，手柄指令又改变机器人运动，进而改变画面内容。这个循环的质量，直接决定遥操作的精度、稳定性和操作者疲劳程度。

二、闭环控制原理

视觉反馈系统的底层逻辑是闭环控制。与开环遥操作相比，闭环系统将“实际视觉状态”与“期望视觉状态”进行比较，用偏差驱动控制量。其基本环节包括：

期望输入：操作者给出的目标位姿、抓取点或运动方向。
视觉传感：相机采集远端图像，提取特征点、轮廓、深度或目标检测框。
状态估计：根据图像特征计算目标与机器人的相对位姿、速度或图像误差。
控制器：将误差映射为机器人关节速度或末端速度指令。
执行与反馈：机器人运动后，相机再次采集，形成新的误差，循环收敛。

核心关系：视觉闭环的稳定性取决于“感知延迟、控制周期、误差增益”三者的匹配。延迟越大，增益必须越保守；否则系统容易振荡甚至发散。

在工程实现中，视觉闭环常分为“外环”和“内环”。外环以视觉误差为输入，输出末端速度或位姿修正量；内环则负责关节伺服，以更高频率跟踪外环指令。外环频率通常为 10～60 Hz，内环可达 500 Hz～1 kHz。若外环频率过低，操作者会感到画面“跳变”，闭环校正也会变得迟钝。

三、视觉伺服基本思想

视觉伺服的核心思想是：不直接依赖精确的机器人运动学模型，而是利用图像误差直接驱动运动，使图像特征逐步逼近期望值。 换句话说，控制器关心的是“图像上目标有没有对准”，而不是“机器人关节角是否精确等于某个值”。

以图像特征误差为例，设当前图像特征为 s，期望特征为 s*，误差为 e = s - s*。控制器常采用比例形式：

v = -λ · L⁺ · e
其中：
v   ：相机或机器人末端速度
λ   ：控制增益
L⁺  ：交互矩阵的伪逆
e   ：图像特征误差

交互矩阵 L 描述了图像特征变化与相机运动之间的关系。若 L 估计准确，控制器就能把图像误差转化为合理的运动方向。实际系统中，L 可能随位姿变化，因此需要在线估计或采用近似方法。

直观理解：视觉伺服就像人看着目标伸手。你不需要知道手臂每块肌肉的精确长度，只需要根据“手离目标还有多远”不断修正。图像误差就是“视觉上的距离”。

四、系统分类与对比

视觉伺服系统可按“反馈信息类型”和“相机安装方式”进行分类。常见分类如下表所示：

分类维度	类型	反馈信号	特点	典型场景
按反馈信息	基于位置（PBVS）	三维位姿估计	在笛卡尔空间控制，路径直观，但对标定和深度估计敏感	抓取、装配
	基于图像（IBVS）	二维图像特征	直接最小化图像误差，对相机标定误差鲁棒，但路径可能不直观	对准、跟踪
	混合/2.5D	图像+部分三维	兼顾图像鲁棒性与三维路径可控性	复杂操作
按相机安装	眼在手上（Eye-in-Hand）	相机随末端运动	近距离精度高，视野随运动变化	精细插入
按相机安装	眼在手外（Eye-to-Hand）	相机固定安装	全局视野稳定，但易受遮挡	大范围监控

此外，按控制结构还可分为“直接视觉伺服”和“基于视觉的监督控制”。前者将图像误差直接接入伺服环；后者由视觉模块生成中间目标点，再由机器人内部控制器执行。遥操作中常采用监督控制，以降低通信延迟对闭环稳定性的影响。

五、典型场景与常见误区

以远程抓取为例：操作者通过 VR 手柄控制远端机械臂，相机安装在机械臂末端。系统首先检测目标物体在图像中的位置，计算图像误差，然后通过 IBVS 控制器生成末端速度指令。当夹爪接近目标时，图像特征逐渐收敛，操作者看到目标进入夹爪中心，再发出闭合指令。整个过程依赖视觉闭环不断校正，而不是一次性规划。

常见误区一：把视觉反馈等同于“看视频”。实际上，未经标定、未做时间同步、未提取特征的视频，只能提供定性观察，无法支撑精确闭环。

常见误区二：忽视延迟。视觉延迟会破坏闭环相位裕度，导致操作者“过冲—回拉—再振荡”。在遥操作中，延迟超过 200 ms 时，必须降低增益或引入预测补偿。

常见误区三：认为 IBVS 一定优于 PBVS。两者各有适用边界：IBVS 对深度误差不敏感，但可能陷入局部极小；PBVS 路径直观，但依赖标定和三维重建精度。

复盘一个典型调试过程：某遥操作抓取系统在接近目标时出现周期性抖动。检查发现，视觉处理耗时约 120 ms，而控制增益仍按 30 ms 延迟整定。将增益降低 40% 后，抖动消失，收敛时间仅增加约 0.3 s。这说明视觉闭环的参数必须与感知延迟匹配，不能照搬理想模型。

总结来看，视觉反馈系统是遥操作从“遥控”走向“可交互”的关键基础设施。它通过闭环控制把图像误差转化为运动修正，通过视觉伺服把“看”与“动”耦合起来，并通过 PBVS、IBVS、混合控制以及眼在手上/眼在手外等分类，适配不同精度、视野和延迟条件。理解这些基本思想与分类边界，是后续设计视觉反馈系统、选择相机布局和控制策略的前提。