4. 预训练与微调基础
在视觉语言动作模型（VLA）的落地过程中，预训练与微调是两条紧密衔接的链路。预训练让模型在海量图文与动作数据中学习通用表征，微调则把这种通用能力迁移到具体机器人本体、具体任务和具体场景。理解迁移学习、领域适应与参数高效微调（PEFT）之间的关系，是后续动手微调与部署的前提。
一、核心原理：从通用表征到任务适配
迁移学习的基本假设是：源域上学到的特征对目标域仍有价值。VLA 模型通常在大规模视觉-语言数据与多形态机器人轨迹上预训练，已经具备“看懂物体、理解指令、生成动作”的初级能力。微调阶段，我们不再从随机权重开始，而是以预训练权重为起点，用目标机器人采集的少量演示数据继续训练。
领域适应关注的是分布差异：预训练数据来自仿真或不同相机、不同机械臂，而部署现场存在光照变化、相机内参差异、动作空间维度不同等问题。领域适应的目标不是重新学习全部知识，而是让模型在目标域上保持稳定。常见策略包括输入归一化、视觉增广、动作空间对齐、少量目标域数据校准等。
参数高效微调则解决“全量微调代价过高”的问题。VLA 模型参数量常达数亿甚至数十亿，全量微调需要保存优化器状态、梯度与多份权重，显存和存储开销巨大。PEFT 通过冻结大部分预训练参数，只训练少量新增或选择的参数，在接近全量微调效果的同时显著降低资源需求。
一句话理解：预训练提供“通用能力”，迁移学习决定“往哪迁移”，领域适应解决“分布不一致”，PEFT 解决“怎么低成本迁移”。
二、方法流程：微调一条 VLA 模型的典型路径
以机械臂抓取任务为例，微调流程通常包含以下步骤：
- 确定目标与数据：明确任务类型（抓取、放置、按压等），采集 50～500 条演示轨迹，包含 RGB 图像、语言指令、关节或末端位姿动作。
- 选择微调策略：数据量少、显存有限时优先 LoRA；需要插入轻量模块且不改动原结构时选 Adapter；追求极致参数效率时考虑 Prompt Tuning 或 Prefix Tuning。
- 配置训练参数：设置学习率、批大小、秩（rank）、缩放系数 alpha、目标模块等。
- 训练与验证：在验证集上观察动作误差与任务成功率，防止过拟合。
- 部署与回退：将 LoRA 权重合并或独立加载，在真实机器人上测试，必要时回退到预训练权重。
下面给出一个 LoRA 微调的配置示例，展示关键参数：
{
"method": "lora",
"r": 16,
"lora_alpha": 32,
"lora_dropout": 0.05,
"target_modules": ["q_proj", "v_proj", "action_head"],
"learning_rate": 1e-4,
"batch_size": 8,
"epochs": 30,
"freeze_backbone": true
}三、参数高效微调方法对比
不同 PEFT 方法在插入位置、训练参数比例和适用场景上差异明显。下表对 LoRA、Adapter、Prompt/Prefix Tuning 进行对比：
| 方法 | 插入位置 | 可训练参数占比 | 优点 | 局限 |
|---|---|---|---|---|
| LoRA | 注意力/线性层旁路 | 约 0.1%～1% | 不改变原结构，可合并权重，推理无额外延迟 | 秩与目标模块需调参 |
| Adapter | Transformer 层间 | 约 1%～5% | 模块化强，适合多任务切换 | 增加推理层，略有延迟 |
| Prompt Tuning | 输入前缀 | 约 0.01%～0.1% | 参数极少，训练快 | 对复杂动作任务容量有限 |
| Prefix Tuning | 每层 KV 前缀 | 约 0.1%～1% | 表达能力强于 Prompt | 实现较复杂，占用序列长度 |
四、案例与场景：LoRA 在机械臂抓取中的应用
假设我们有一个预训练的 VLA 模型，已在仿真环境中见过大量抓取任务，但真实机械臂的相机角度和夹爪行程不同。直接全量微调需要 4 张 A100，成本高。采用 LoRA 后，只训练注意力层的低秩矩阵和动作头，单张 24GB 显卡即可完成。
训练日志中可观察到：前 5 个 epoch 损失快速下降，第 10 个 epoch 后验证成功率趋于稳定。若验证损失开始上升而训练损失继续下降，说明出现过拟合，应降低秩、增大 dropout 或增加数据增广。
实践建议：首次微调时，先用小秩（r=8）和较高学习率快速验证流程；确认可行后再增大秩或扩展目标模块。领域差异大时，可先做一轮轻量领域适应，再接入 LoRA。
五、误区与复盘
- 误区一：PEFT 一定不如全量微调。在数据量有限、目标域与源域接近时，PEFT 常能取得接近甚至更优的泛化效果，因为它减少了过拟合风险。
- 误区二：只调动作头就够了。VLA 的视觉与语言表征同样需要适配，只调动作头可能无法应对新物体或新指令。
- 误区三：忽略领域适应。相机内参、光照、动作尺度不一致时，直接微调效果会大打折扣，应先做输入与动作空间对齐。
- 复盘要点：记录每次实验的秩、目标模块、学习率与数据量，建立可复现的配置档案，便于后续排障与迭代。
总体来看，预训练与微调不是对立关系，而是“通用能力”与“专用能力”的接力。迁移学习决定知识复用的方向，领域适应保证分布一致，PEFT 让微调在有限算力下可行。掌握这三者的配合方式，才能在真实机器人上稳定地完成 VLA 模型的落地。