1. 课程导入
欢迎进入《LeRobot VLA策略微调工程》。本课程面向已经具备 Python 与深度学习基础、希望把视觉-语言-动作（Vision-Language-Action，VLA）模型真正落到机器人任务上的工程师。我们不会停留在“跑通一个 demo”，而是围绕一条完整工程链路：数据采集与格式转换、策略加载与配置、微调训练、仿真评测、真机部署与迭代复盘。学完本课程，你应当能够独立完成一次从原始示教数据到可执行策略的闭环微调，并能定位训练不收敛、动作抖动、泛化差等常见问题。
一、学习目标：从“会调用”到“会交付”
本课程的学习目标分为四个层次，建议你在学习过程中不断对照检查：
- 概念层：理解 VLA 策略的输入输出定义，明确观测（多相机图像、机器人状态）与动作（关节位置/速度/末端位姿）之间的映射关系，理解动作分块（Action Chunking）、时序集成（Temporal Ensembling）等关键机制。
- 工具层：熟练使用 LeRobot 的数据集格式、策略配置体系、训练脚本与评测脚本，能够读懂
config.json、train_config.json等配置文件中的关键字段。 - 工程层：能够针对自己的机器人平台完成数据采集、归一化统计、策略微调、检查点管理与推理部署，形成可复现的实验记录。
- 排障层：能够根据损失曲线、动作分布、评测成功率等信号，判断问题出在数据、配置、训练还是部署环节，并给出可执行的修正方案。
二、核心概念：VLA 策略微调到底在做什么
VLA 策略可以理解为一个条件生成模型：给定当前时刻的视觉观测与语言指令，输出未来一段时间内的动作序列。与传统的单步回归策略不同，VLA 策略通常预测一个“动作块”（action chunk），例如未来 16 步或 100 步的动作，再由执行器按时间逐步下发。这样做的好处是降低推理频率、提升动作连贯性，但也引入了新的工程问题：动作块长度如何选、推理延迟如何补偿、块与块之间如何平滑衔接。
微调（Fine-tuning）则是在预训练策略的基础上，用你自己机器人的示教数据继续训练，使模型适配特定的相机安装位置、关节数量、动作空间与任务分布。微调不是“重新训练”，因此数据量、学习率、冻结层策略都与从零训练不同。一个常见的误区是：直接把预训练配置照搬过来，结果因为动作维度不匹配或归一化统计不一致，导致损失不下降甚至动作发散。
关键认知：VLA 微调的成功率，往往不取决于模型结构，而取决于数据质量、动作空间定义与归一化统计是否一致。工程上，先把数据管线做对，再谈调参。
三、整体框架：一条从数据到部署的主链路
下图展示了本课程贯穿始终的工程主链路。左侧是数据侧，右侧是部署侧，中间是训练与评测闭环。请特别注意：评测结果会反向影响数据采集策略，这是一个迭代过程，而不是一次性流水线。
四、实战路线图：30 章如何组织
课程按“认知—数据—训练—评测—部署—进阶”六个阶段推进。下表给出阶段划分与关键产出，你可以把它当作学习检查清单。
| 阶段 | 核心内容 | 关键产出 |
|---|---|---|
| 认知建立 | VLA 概念、LeRobot 生态、环境安装与目录结构 | 可运行的训练环境与示例数据集 |
| 数据工程 | 数据采集规范、格式转换、归一化统计、数据增强 | 符合 LeRobotDataset 规范的自有数据集 |
| 策略微调 | 策略配置、动作空间对齐、训练循环、超参调整 | 可加载的微调检查点 |
| 评测验证 | 仿真评测、成功率统计、失败案例可视化 | 评测报告与改进方向 |
| 部署落地 | 推理服务、动作下发、安全限幅、延迟补偿 | 真机可执行策略 |
| 进阶优化 | 多任务泛化、语言条件、长时序任务、性能调优 | 可复用的工程模板与调参经验 |
五、典型场景与常见误区
假设你要让一台六自由度机械臂完成“抓取桌面上的红色方块并放入盒子”的任务。典型流程是：先遥操作采集 50～100 条成功轨迹，转换为 LeRobotDataset；然后加载预训练 VLA 策略，修改动作维度与相机键名，进行微调；接着在仿真中评测成功率，若成功率低于阈值，回看失败轨迹是“没对准”还是“抓取时机不对”；最后部署到真机，并加入关节限位与速度限幅。
常见误区一：数据量不足就急于调大模型。VLA 微调对数据质量极其敏感，10 条干净轨迹往往优于 100 条抖动轨迹。
常见误区二：忽略归一化统计。训练集与推理时的状态/动作统计不一致，会导致动作幅值系统性偏移。
常见误区三：只看训练损失，不看评测成功率。损失下降不代表任务成功，必须用闭环评测验证。
六、动手前的准备清单
在进入后续章节前，请确认以下事项已就绪。你可以用下面的命令快速检查环境：
python -c "import torch, lerobot; print(torch.__version__, lerobot.__version__)"
nvidia-smi
ls ~/.cache/huggingface/lerobot- Python 3.10+ 与 PyTorch 环境可用，GPU 显存建议不低于 12GB。
- 已安装 LeRobot 及对应机器人平台的依赖包。
- 准备好至少一个可访问的示教数据集，或确认可以连接仿真环境。
- 建立实验记录习惯：每次训练记录配置、数据版本、随机种子与评测结果。
学习建议：每学完一个阶段，回到本节的链路图，标出你当前所处的位置。工程能力来自闭环，而不是单点知识。先把一条最小链路跑通，再逐步增加复杂度。
至此，你已经了解本课程的目标、核心概念、整体框架与实战路线。接下来，我们将从环境搭建与 LeRobot 生态认知开始，逐步把这条链路变成你手中的可执行工程。