4. 示教数据采集

示教数据采集是灵巧手模仿学习的第一道工程关口。策略网络最终能学到什么，几乎完全取决于采集阶段留下了什么。与刚性机械臂不同，灵巧手有 20 个以上自由度、多指接触、频繁遮挡和丰富的触觉信号，因此采集方案必须同时回答四个问题：动作从哪里来、状态如何观测、多路信号怎样对齐、数据如何变成可训练样本。本节围绕遥操作、动捕、视觉示教、触觉示教四条主线，以及同步与标注两个收口环节展开。

一、四类示教来源的原理与适用边界

遥操作由人实时操控主端设备，从端灵巧手复现动作，天然产生“动作—状态—结果”闭环数据。常见主端包括数据手套、外骨骼、力反馈手柄和 VR 控制器。它的优势是动作空间与机器人一致、可采集失败与纠错过程；代价是操作者需要训练，且主从映射误差会污染动作标签。

动捕通过光学或惯性系统捕捉人手关键点，再经重定向映射到灵巧手关节。它动作自然、速度快，适合采集大量人类操作先验，但存在手型尺寸差异、指尖接触缺失和重定向歧义问题，尤其拇指对掌与侧捏容易失真。

视觉示教以多相机或第一视角视频记录操作过程，通过手部姿态估计、物体位姿跟踪和动作分割反推动作。它成本低、场景开放，适合大规模互联网视频预训练，但深度缺失、遮挡和尺度不确定会带来较大噪声，通常作为辅助监督而非唯一动作源。

触觉示教在指尖、指腹和掌心布置触觉阵列或力传感器，记录接触位置、法向力与滑动趋势。触觉是灵巧手区别于夹爪的关键模态，能显著提升抓取稳定性和接触丰富任务的泛化能力，但标定复杂、易受温漂影响，需要与视觉、关节编码器联合使用。

二、采集流程与关键参数

一条可复用的采集流水线通常包含六个步骤：任务定义与场景布置、传感器标定、示教执行、时间同步、数据切分与标注、质量抽检。其中标定和同步最容易被低估，却直接决定数据能否跨设备复用。

# 典型采集配置（示意）
task: peg_in_hole
hand: 22-DoF dexterous hand
sensors:
  cameras: [wrist_rgbd, front_rgbd, side_rgb]
  tactile: 5 fingertips x 16x16 taxel
  encoders: joint_position @ 200 Hz
sync:
  trigger: hardware_pps
  timestamp_source: host_monotonic
  max_offset_ms: 2
labeling:
  language: "把红色圆柱插入左侧孔位"
  phases: [approach, align, insert, release]
  outcome: success

采样率需要分层设计：关节编码器与触觉通常 100–1000 Hz，相机 30–60 Hz，语言与阶段标签是事件级。高频信号必须保留原始时间戳，不能简单按帧号拼接，否则在变速操作中会产生动作错位。

三、同步与标注方法

时间同步优先使用硬件触发，让相机曝光、触觉采样和编码器读取共享同一时钟源；若只能软件同步，则用统一单调时钟打时间戳，再按最近邻或线性插值对齐到统一时间栅格。空间标定包括手眼标定、触觉阵列坐标到指尖坐标的映射，以及动捕坐标系到机器人基座坐标系的变换。

标注分为三层：任务级语言指令、阶段级动作标签、帧级事件标签。阶段标签可用示教者按键打点，也可用速度阈值、接触事件或视觉变化自动切分。触觉信号特别适合做接触起始与滑动检测，可作为自动切分的触发条件。

四、案例与常见误区

以“插孔装配”为例：遥操作采集 50 条成功轨迹，动捕补充 200 条人类自然操作，视觉提供第一视角视频用于预训练，触觉记录插入瞬间的力峰与滑动。同步后按 approach/align/insert/release 四阶段切分，并标注成功与失败原因。训练时视觉主干用视频预训练，动作头用遥操作与动捕联合微调，触觉分支只在接触阶段激活。

采集不是“录下来就行”，而是把人的操作意图转成机器人可学习、可对齐、可复用的结构化经验。只有把四类示教源、同步机制和标注体系作为一个整体设计，后续的模仿学习与技能泛化才有可靠的数据地基。