📚 课程目录第3章机器人数据基础

3. 机器人数据基础

在VLA（Vision-Language-Action）机器人学习中，模型最终要输出的是可执行的动作序列，而动作序列的质量取决于数据采集链路是否可靠。本章从传感器、坐标系、运动学与动力学、采集硬件与同步机制四个层面，建立机器人数据的“物理底座”。理解这些基础，才能判断一条轨迹数据是否可用、一个动作标签是否可信。

一、传感器类型：多模态数据的来源

机器人数据通常由多类传感器共同产生。视觉传感器提供环境与物体状态，包括RGB相机、深度相机（如RealSense、Azure Kinect）和鱼眼相机；本体感知传感器提供机器人自身状态，包括关节编码器、IMU、力矩传感器和电流传感器；外部力觉传感器（如六维力/力矩传感器）用于接触密集型任务；触觉传感器（如GelSight、DIGIT）用于精细抓取。

不同传感器的数据频率差异很大：相机通常为30Hz，IMU可达200Hz以上，关节编码器可达1kHz。这种频率差异是后续同步机制必须解决的核心问题。此外，传感器还存在时间戳来源不同、传输延迟不同、坐标系不同等问题，若不加处理直接拼接，会引入难以察觉的时空错位。

二、坐标系：动作表示的参照系

机器人数据中每一个位姿都必须绑定坐标系，否则数值没有意义。常见坐标系包括：世界坐标系（World）、机器人基座坐标系（Base）、末端执行器坐标系（EEF/TCP）、相机坐标系（Camera）以及物体坐标系（Object）。VLA数据集中动作标签通常以末端执行器在基座坐标系下的位姿增量表示，也可能以关节角增量表示。

坐标系之间的转换依赖标定。手眼标定（Hand-Eye Calibration）用于求解相机与机器人末端或基座之间的外参；若标定误差为2mm，在精细插孔任务中可能导致数厘米的末端偏差。因此，数据集中应记录标定参数及其版本，否则跨设备复现时动作语义会漂移。

关键原则：动作标签必须与观测图像共享同一时空参照。图像来自相机坐标系，动作来自机器人基座坐标系，二者通过外参矩阵关联。缺失外参的数据集只能用于同构设备，无法迁移。

三、运动学与动力学基础

运动学描述位置、速度、加速度与关节角之间的几何关系，不涉及力。正运动学由关节角求末端位姿，逆运动学由末端位姿求关节角。VLA中常见的动作表示包括：关节位置增量、末端位姿增量（Δx, Δy, Δz, Δroll, Δpitch, Δyaw）、末端速度以及夹爪开合。选择哪种表示直接影响策略学习难度：关节空间动作平滑但语义弱，笛卡尔空间动作语义强但易受奇异点影响。

动力学描述力、力矩与运动之间的关系，涉及质量矩阵、科氏力、重力项和摩擦。对于接触密集型任务（如擦拭、插拔），仅靠运动学动作不足以表达接触力，需要引入力/力矩标签或阻抗参数。数据采集时若忽略动力学量，模型难以学会“用力适度”的行为。

# 典型动作标签字段示例
{
  "timestamp": 1690000000.123,
  "joint_positions": [0.12, -0.45, 0.78, ...],   # rad
  "eef_pose": [0.35, 0.12, 0.22, 0.0, 1.57, 0.0], # m, rad
  "gripper_width": 0.04,                          # m
  "force_torque": [0.0, 0.0, -2.1, 0.0, 0.0, 0.0] # N, N·m
}

四、数据采集硬件与同步机制

采集硬件通常由相机、机器人控制器、力传感器、采集主机和触发模块组成。同步机制分为三类：硬件触发同步、软件时间戳同步和混合同步。硬件触发通过同一信号源同时触发相机曝光与机器人状态采样，精度可达微秒级；软件同步依赖各设备本地时钟，通过NTP或PTP对齐，精度为毫秒级；混合方案用硬件触发关键帧、软件补齐高频状态。

同步误差会直接污染动作标签。例如相机30Hz、机器人1kHz，若不做插值对齐，图像时刻对应的关节角可能偏差数毫秒，在高速运动中对应数厘米位移。工程上常用线性插值或样条插值将机器人状态重采样到图像时间戳，并记录插值方法。

五、典型场景与常见误区

以“抓取杯子并放置到托盘”为例，采集链路需要同时记录：相机图像（判断杯子位置）、关节角（记录运动）、夹爪宽度（记录抓取时刻）、力/力矩（判断是否夹稳）。若只记录图像和关节角，模型无法学习“何时闭合夹爪”，因为夹爪动作与力反馈缺失。

误区	后果	修正方法
动作标签未绑定坐标系	跨设备迁移时动作语义漂移	记录Base/EEF外参与标定版本
忽略传感器频率差异	图像与关节角错位数毫秒	统一时间戳并插值重采样
只记录运动学量	接触任务学不会力度控制	补充力/力矩或阻抗标签
标定参数未版本化	复现实验时无法追溯误差	标定文件与数据集一同归档

实践建议：采集前先做一次“时间戳一致性检查”，将相机、机器人、力传感器的同一事件（如夹爪闭合）时间戳打印出来，确认偏差在可接受范围内，再开始正式采集。

注意：不同厂商机器人的关节角单位、零位定义、旋转顺序可能不同。数据集中必须记录URDF版本、关节顺序和单位，否则动作标签在另一台机器人上可能完全错误。

综上，传感器决定数据维度，坐标系决定动作语义，运动学与动力学决定动作表示形式，采集硬件与同步机制决定数据时空一致性。四者共同构成VLA数据集的物理可信基础。只有在这些基础之上，后续的动作表示工程与策略学习才有意义。