1. 课程导入
欢迎进入《LeRobot 实机部署与闭环迭代》课程。本课程的目标不是停留在“跑通一个仿真 demo”，而是把 LeRobot 从代码仓库一路推进到真实机械臂、真实相机、真实任务，并建立一套可以持续采集数据、训练策略、部署验证、发现问题、再回到数据与模型进行改进的闭环工作流。学完本课程，你应当能够独立完成一条从硬件接入到策略上机、从失败样本到迭代优化的完整链路。
一、学习目标：从“会跑代码”到“会做闭环”
LeRobot 是面向真实机器人学习的开源框架，它把数据集格式、策略模型、训练脚本、评估工具和硬件接口整合在一起。但实机部署的难点往往不在某一个脚本，而在于系统之间的衔接：相机是否对齐、动作空间是否一致、控制频率是否稳定、策略输出是否被安全限幅、失败样本是否被有效回收。因此，本课程的学习目标分为四个层次。
- 环境与硬件层：能够完成 LeRobot 安装、依赖配置、机械臂与相机接入，并验证遥操作与数据采集链路。
- 数据与策略层：理解 LeRobotDataset 的结构，掌握 ACT、Diffusion Policy 等策略的训练与评估方法。
- 部署与安全层：能够把训练好的策略部署到实机，设置动作限幅、急停、频率匹配与异常回退机制。
- 闭环迭代层：能够根据实机失败案例定位问题，补充数据、调整训练配置，并完成多轮迭代验证。
二、核心概念：五个必须建立的心智模型
在进入实操之前，先建立五个关键概念。它们会贯穿后续所有章节。
- 观测-动作对（Observation-Action Pair）：策略学习的本质是从观测到动作的映射。观测包括图像、关节状态等，动作通常是关节目标或末端位姿增量。
- 数据集一致性：训练数据与实机部署时的相机视角、分辨率、控制频率、动作维度必须一致，否则策略性能会显著下降。
- 策略频率与控制频率：策略推理频率不等于底层控制频率。常见做法是策略以 10–30 Hz 输出动作，底层控制器以更高频率插值执行。
- 分布偏移（Distribution Shift）：实机环境与训练数据分布不一致时，策略会进入未见过的状态，导致失败。闭环迭代的核心就是不断把新状态纳入训练分布。
- 安全边界：实机部署必须假设策略会出错。动作限幅、速度限制、工作空间约束和急停是必备保护。
三、整体框架：从数据到部署的闭环
下图展示了本课程的整体技术框架。左侧是数据采集与数据集构建，中间是策略训练与评估，右侧是实机部署与闭环回收。三者通过统一的 LeRobotDataset 格式和策略接口连接，形成可持续迭代的环路。
四、实战路线图：本课程的推进方式
课程按照“先打通链路，再优化性能，最后建立闭环”的顺序推进。每一章都会围绕一个可验证的目标展开，避免只讲概念不落地。
| 阶段 | 核心任务 | 关键产出 | 常见风险 |
|---|---|---|---|
| 环境与硬件 | 安装 LeRobot、接入机械臂与相机 | 可遥操作、可采集数据 | 驱动冲突、相机索引错误 |
| 数据采集 | 构建 LeRobotDataset、校验一致性 | 规范数据集与回放脚本 | 频率不匹配、动作维度错位 |
| 策略训练 | 选择 ACT/Diffusion、调参与离线评估 | 可加载的检查点 | 过拟合、观测未对齐 |
| 实机部署 | 推理接入、安全限幅、频率匹配 | 策略上机运行 | 动作抖动、超限、急停缺失 |
| 闭环迭代 | 失败复盘、补数据、再训练 | 成功率提升记录 | 只调模型不补数据 |
五、案例场景：一个抓取任务的闭环
假设任务是让机械臂把桌面上的方块放入盒子。第一轮训练后，策略在实机上成功率只有 40%，主要失败模式是“接近方块时偏移”和“抓取后掉落”。此时不要急于换模型，而应按闭环流程处理：先回放失败片段，确认是相机视角偏移还是动作幅度不足；再补充 20–30 条针对偏移场景的示教数据；然后重新训练并部署。通常经过 2–3 轮迭代，成功率可以提升到 80% 以上。
# 典型闭环迭代命令示意
python -m lerobot.record --dataset.repo_id=local/pick_cube_v2 \
--control.fps=30 --control.num_episodes=30
python -m lerobot.train --policy.type=act \
--dataset.repo_id=local/pick_cube_v2 \
--training.batch_size=8 --training.steps=20000
python -m lerobot.eval --policy.path=outputs/act_pick_cube_v2/checkpoints/last
六、常见误区与复盘要点
- 误区一：只关注训练 loss。离线 loss 低不代表实机成功率高，必须结合实机评估。
- 误区二：忽略观测对齐。训练与部署的相机分辨率、裁剪、颜色顺序不一致，会直接导致策略失效。
- 误区三：没有安全限幅。策略输出可能突变，缺少限幅和急停会损坏设备或造成危险。
- 误区四：失败后只调超参。多数实机失败源于数据覆盖不足，补数据往往比调参更有效。
接下来，课程将从环境搭建与硬件接入开始，逐步带你完成数据、训练、部署与迭代的完整链路。请把“闭环”作为贯穿始终的工作方式：每一次实机运行都不是终点，而是下一轮改进的起点。