3. 跨具身联合训练的背景

多任务VLA（Vision-Language-Action）模型的核心目标，是让机器人能够理解自然语言指令、感知视觉环境，并输出可执行的底层动作。然而，当我们将目光从单一机器人平台（例如一台固定的六轴机械臂）扩展到多种形态的机器人时，一个根本性的问题浮现出来：在A平台上训练好的VLA模型，能否直接部署到B平台？答案通常是否定的。这并非因为模型“笨”，而是因为不同机器人平台在物理结构、运动学约束、观测空间和执行频率上存在本质差异。跨具身联合训练（Cross-Embodiment Training）正是为了解决这一“数据孤岛”与“模型泛化”矛盾而提出的方法论。本章将深入剖析为什么必须跨具身，以及机械臂、轮式机器人、人形机器人之间的差异与共性，为后续章节的模型架构设计和训练策略奠定认知基础。

3.1 为什么需要跨具身：数据、泛化与成本的三重驱动

3.1.1 核心原理：数据规模与泛化瓶颈

VLA模型本质上是数据驱动的深度神经网络。其性能上限直接受限于训练数据的覆盖度。单一平台的数据采集面临三重困境：物理瓶颈（一台机器人24小时运行，一天最多采集数千条轨迹）、场景瓶颈（固定基座的机械臂无法采集移动抓取数据）、成本瓶颈（人形机器人单台成本数十万，难以大规模部署）。跨具身联合训练的核心动机，是将不同平台采集的数据汇聚到一个统一模型中训练，从而突破单一平台的数据天花板。例如，机械臂可以大量采集桌面抓取数据，轮式机器人可以采集导航+操作数据，人形机器人可以采集全身协调数据，三者合并后，模型能够学到更丰富的视觉-语言-动作映射关系。

3.1.2 判断方法：何时必须引入跨具身训练

并非所有场景都需要跨具身。以下三个条件满足任意两个时，应当考虑跨具身联合训练：

• 目标平台多样性：最终部署场景包含两种及以上异构机器人平台。
• 数据采集成本敏感：单一平台数据采集周期超过项目预算时间线的1.5倍。
• 任务语义重叠度高：不同平台执行的任务在语义层面高度相似（如“抓取”、“放置”、“导航到”），但底层动作空间不同。

如果仅针对单一固定平台开发专用模型，且数据量充足，则无需引入跨具身带来的额外对齐复杂度。

3.1.3 案例拆解：从单平台到跨平台的VLA迁移

某实验室最初在Franka Panda七轴机械臂上训练了一个VLA模型，用于“从桌面抓取指定物体”任务。模型在仿真中表现良好（成功率92%），但直接部署到一台四轮移动操作机器人（配备UR5e机械臂）上时，成功率骤降至31%。分析发现：

1. 观测差异：Franka使用固定第三视角相机，移动机器人使用第一视角RGB-D，视觉特征分布偏移严重。
2. 动作空间差异：Franka输出7维关节位置增量，移动机器人需要输出4维底盘速度+6维末端位姿。
3. 动力学差异：移动基座在抓取时存在微小晃动，导致末端定位误差增大。

随后团队采集了移动机器人上的5000条轨迹，与原有Franka的20000条轨迹合并，采用统一动作空间编码（将底盘速度与机械臂关节增量拼接为10维向量），并加入域随机化（随机扰动相机视角、光照、基座晃动）。联合训练后，移动平台成功率提升至78%，Franka平台成功率保持在89%（仅下降3%）。关键教训：跨具身训练不是简单的数据拼接，必须显式处理观测和动作空间的异构性。

3.1.4 常见误区与总结

3.2 不同机器人平台的差异：从物理结构到动作空间

3.2.1 核心原理：三大平台的本质差异

机械臂、轮式机器人、人形机器人代表了三种典型的“身体”形态。它们的差异不仅体现在外观，更体现在运动学、动力学和控制接口上。下表从关键维度进行对比：

3.2.2 判断方法：如何量化平台差异

在跨具身训练前，建议计算以下三个量化指标：

• 动作空间维度比：不同平台动作向量维度的比值。若差异超过3倍，建议使用分组的动作头（Group-wise Action Head）而非单一全连接层。
• 观测空间重叠度：计算不同平台相机视角下同一物体的特征相似度（如使用预训练ViT提取特征，计算余弦相似度）。低于0.5时需引入视角归一化模块。
• 控制频率匹配度：VLA模型输出频率应低于所有平台的最低控制频率。若人形机器人需要500Hz控制，而轮式机器人仅需20Hz，则模型输出频率应设为20Hz，并通过零阶保持器（Zero-order Hold）上采样。

3.2.3 案例拆解：人形机器人与机械臂的协同训练

某团队尝试将人形机器人（Figure 02）的行走数据与固定机械臂的操作数据联合训练一个VLA模型。初始阶段，模型在机械臂任务上表现良好，但在人形机器人上完全无法输出合理的行走动作。分析发现：

1. 动作频率不匹配：机械臂动作输出为10Hz，人形机器人需要200Hz的关节力矩控制。
2. 平衡约束缺失：机械臂无需考虑重心投影，而人形机器人必须将重心保持在支撑多边形内。
3. 观测维度差异：人形机器人有IMU数据（角速度、线加速度），机械臂没有。

解决方案是设计分层动作解码器：VLA模型输出高层语义动作（如“向前走0.5米”、“伸手到坐标(0.3, 0.2, 0.8)”），底层由各平台的专用控制器（如MPC、WBC）执行。这样，模型学习的是与平台无关的任务规划，而平台差异由底层控制器吸收。最终，联合训练后的人形机器人行走成功率从0%提升至65%，机械臂操作成功率保持稳定。

3.2.4 常见误区与总结

3.3 不同机器人平台的共性：跨具身迁移的桥梁

3.3.1 核心原理：共享的语义与感知空间

尽管物理形态差异巨大，但所有机器人平台在完成任务时共享三个抽象层次：感知层（RGB图像、深度图、点云）、语义层（语言指令中的动词和名词）、任务层（目标状态的定义）。例如，“把红色杯子放到托盘上”这个指令，无论由机械臂、轮式机器人还是人形机器人执行，其语义分解都是：找到红色杯子 → 抓取 → 移动到托盘上方 → 释放。这种语义一致性是跨具身训练可行的理论基础。

3.3.2 判断方法：识别可迁移的共性模块

在模型设计中，以下模块通常可以跨平台共享：

• 视觉编码器：使用大规模预训练的ViT（如CLIP、DINOv2），对不同相机参数具有鲁棒性。
• 语言编码器：与具体平台无关，直接使用预训练语言模型。
• 跨模态融合层：视觉-语言交叉注意力机制，学习的是语义对齐，不依赖具体动作空间。
• 任务规划头：输出离散的任务步骤（如“先导航，再抓取”），与平台无关。

而以下模块必须平台特化：动作解码器、运动学约束层、安全过滤器。

3.3.3 案例拆解：共享视觉编码器的收益

一个跨具身项目使用了三种平台：A（固定机械臂）、B（轮式机器人）、C（人形机器人）。在联合训练中，团队冻结了视觉编码器（使用DINOv2预训练权重），仅训练动作解码器。结果显示：

人形机器人提升最大，因为其数据量最少，共享视觉编码器相当于“借用”了其他平台学到的视觉特征。这验证了跨具身训练的核心价值：数据丰富平台帮助数据稀缺平台。

3.3.4 常见误区与总结

3.4 跨具身联合训练的核心挑战与应对策略

3.4.1 核心原理：三大挑战

跨具身联合训练面临三大技术挑战：动作空间异构（不同维度、不同物理含义）、观测分布偏移（相机视角、内参、光照差异）、数据质量不均衡（机械臂数据量大且干净，人形数据量小且噪声大）。

3.4.2 应对策略：统一动作空间与域自适应

针对动作空间异构，常用方案包括：

• 归一化：将各平台动作映射到[-1, 1]区间，并记录每维的物理含义。
• 分组线性层：为每个平台设置独立的线性投影层，将平台特有动作映射到共享的隐空间。
• 动作原语化：将连续动作离散化为操作原语（如“抓”、“放”、“推”），模型输出原语ID，平台负责执行。

针对观测分布偏移，可采用：

• 相机归一化：将不同相机的内参、外参统一到标准坐标系。
• 域随机化：在仿真中随机化光照、纹理、相机位置，增强模型对观测变化的鲁棒性。
• 对抗域适应：使用梯度反转层，让视觉编码器学习与平台无关的特征。

3.4.3 案例拆解：统一动作空间的工程实现

某项目需要联合训练一个轮式机器人和一个四足机器人（带机械臂）。轮式机器人动作向量为[vx, vyaw, arm_joint_6d]（8维），四足机器人动作向量为[body_velocity_3d, leg_joint_12d, arm_joint_6d]（21维）。实现步骤如下：

1. 定义共享动作维度：将“末端位姿增量（6维）”作为共享动作空间。
2. 平台特化映射：轮式机器人通过逆运动学将末端位姿增量映射到底盘速度+关节角度；四足机器人通过全身运动学映射到腿部+手臂关节。
3. 训练目标：VLA模型只预测末端位姿增量，不关心底层如何执行。

结果：模型在轮式机器人上成功率78%，四足机器人上成功率69%，且模型可以直接迁移到新的五自由度机械臂上（无需微调，成功率61%）。关键经验：选择末端位姿增量作为统一动作空间，是跨具身训练中最实用、最通用的选择。

3.4.4 总结复盘