2. 基础知识
视觉语言动作模型（VLA）并不是单一技术的产物，而是机器人学、计算机视觉、自然语言处理与动作生成四条技术脉络在“感知—理解—决策—执行”闭环中的交汇。要理解 VLA 微调与部署，必须先建立这四类基础概念与术语的共同坐标系：机器人学回答“身体如何运动”，视觉感知回答“世界长什么样”，自然语言处理回答“人想要什么”，动作生成回答“下一步该怎么做”。
一、机器人学基础：位姿、自由度与运动学
机器人学的第一组术语围绕“位置与姿态”展开。位姿（Pose）由三维位置与三维姿态共同描述，通常写作 6D 向量；在机械臂中，末端执行器（End-Effector）的位姿是动作生成最直接的控制目标。自由度（DoF）表示系统可独立运动的维度，六轴机械臂具有 6 个关节自由度，而移动底盘通常额外引入 3 个平面自由度。
运动学分为正运动学与逆运动学：正运动学由关节角推算末端位姿，逆运动学则由目标位姿反解关节角。VLA 模型输出的动作通常有两种表示：关节空间动作（每个关节的目标角度或增量）与任务空间动作（末端位姿增量）。理解这一区别，是后续判断模型输出是否可直接下发到控制器的关键。
- 关节空间：动作维度等于关节数，控制直接，但难以跨本体迁移。
- 任务空间：以末端位姿表达，语义直观，但需要逆运动学求解与奇异点处理。
- 坐标系：世界坐标系、基座坐标系、工具坐标系之间的变换必须显式管理。
- 控制频率：VLA 推理频率通常低于底层伺服频率，需要动作插值或缓存。
二、视觉感知：从像素到可操作表征
视觉感知为 VLA 提供环境状态。基础术语包括：RGB 图像提供纹理与颜色，深度图提供距离，点云提供三维几何。相机内参描述焦距与主点，外参描述相机相对机器人基座的位置与姿态，二者共同完成像素到三维空间的映射。
在 VLA 中，视觉编码器（如 ViT、ResNet）把图像切分为 patch 或特征图，再与语言 token 对齐。常见误区是只关注“识别准确率”，却忽略标定误差、光照变化与遮挡对动作稳定性的影响。实际部署中，手眼标定误差 1 厘米，可能导致抓取失败率显著上升。
# 典型视觉输入配置示例
camera:
type: rgbd
resolution: [640, 480]
intrinsics: [fx, fy, cx, cy]
extrinsics: T_base_camera # 4x4 变换矩阵
frequency: 30 Hz
三、自然语言处理：指令、token 与语义对齐
自然语言处理在 VLA 中承担“任务规约”的角色。用户指令如“把红色方块放到蓝色盒子左边”需要被解析为可执行的目标。基础概念包括：分词（Tokenization）、词嵌入（Embedding）、注意力机制（Attention）与序列建模。Transformer 通过自注意力把指令中的对象、属性、空间关系编码为上下文向量。
VLA 中的语言分支通常与视觉分支通过交叉注意力融合，形成多模态 token 序列。需要区分三类语言输入：任务指令（做什么）、场景描述（有什么）、约束条件（不能碰什么）。微调时，指令的多样性与歧义性直接影响模型的泛化能力。
四、动作生成：策略、轨迹与动作空间
动作生成把多模态表征转化为机器人可执行的动作。常见形式包括：离散动作 token（如 RT-2 将动作离散为文本 token）、连续动作向量（如 Diffusion Policy 输出动作序列）、以及轨迹片段（Action Chunk）。策略（Policy）是观测到动作的映射函数，通常写作 π(a|o, l)，其中 o 为观测，l 为语言指令。
动作生成的关键参数包括：动作维度、动作时域（Horizon）、控制频率与动作平滑度。动作分块（Action Chunking）把未来多步动作一次性预测，可显著降低推理频率并提升时序一致性，但也会引入延迟与误差累积问题。
| 模块 | 核心对象 | 关键术语 | 在 VLA 中的作用 |
|---|---|---|---|
| 机器人学 | 关节、末端、坐标系 | DoF、位姿、正/逆运动学 | 定义动作空间与执行约束 |
| 视觉感知 | 图像、深度、点云 | 内参、外参、特征编码 | 提供环境状态与空间几何 |
| 自然语言处理 | 指令、token、注意力 | 分词、嵌入、Grounding | 规约任务目标与语义约束 |
| 动作生成 | 策略、轨迹、动作块 | Policy、Horizon、Chunking | 输出可执行动作序列 |
五、案例场景：抓取指令的完整链路
以“把桌上的杯子递给我”为例：视觉模块检测杯子位置并估计 6D 位姿；语言模块解析“杯子”“递给我”得到目标对象与目标位置；VLA 融合后输出末端位姿增量序列；逆运动学求解关节角；控制器执行并触发新观测。若其中任一环节术语理解错位，例如把任务空间动作误当作关节角下发，就会导致机器人异常运动。
六、复盘：四类基础如何协同
机器人学提供“可执行性”，视觉感知提供“可观测性”，自然语言处理提供“可交互性”，动作生成提供“可学习性”。四者缺一不可：没有机器人学，动作无法落地；没有视觉，模型看不见世界；没有语言，任务无法泛化；没有动作生成，理解无法转化为行为。掌握这些基础术语，是后续微调数据构造、模型选型与部署调试的共同语言。