1. 课程导入

欢迎进入《LeRobot 机器人模仿学习工程》课程。本章不急于写代码，而是先建立一张“认知地图”：模仿学习到底解决什么问题，它与传统控制、强化学习的分工在哪里，LeRobot 在开源生态中扮演什么角色，以及后续 29 章会沿着怎样的技术主线展开。只有先看清全局，后面的数据集、策略网络、训练与部署才不会变成零散知识点的堆叠。

一、什么是机器人模仿学习

机器人模仿学习（Imitation Learning，IL）是一类让机器人从人类或专家示范中学习行为策略的方法。它的核心假设是：与其手工设计复杂规则，不如直接提供“在什么状态下应该做什么动作”的示范数据，让模型学习状态到动作的映射。形式化地看，策略 π(a|s) 或 π(s)→a 通过最小化与专家动作的差异来逼近专家行为。

模仿学习最直观的形态是行为克隆（Behavior Cloning，BC）：把示范轨迹拆成一条条 (观测, 动作) 样本，用监督学习训练策略网络。它实现简单、训练稳定，是 LeRobot 当前最主流的入门路径。但 BC 存在分布偏移问题：一旦机器人偏离专家轨迹，进入训练集中未出现的状态，误差会累积放大。因此，后续课程还会引入 ACT、Diffusion Policy、时序一致性等更强的方法来缓解这一问题。

二、发展脉络：从示教再现到端到端策略

机器人学习行为的方式经历了几个阶段。早期是示教再现（Teach & Play），操作者拖动机械臂记录轨迹，机器人按固定轨迹复现，优点是稳定，缺点是缺乏泛化。随后是传统模仿学习，如动态运动基元（DMP）、高斯混合模型（GMM），它们对轨迹建模但难以处理高维视觉输入。

深度学习的兴起带来了端到端模仿学习：以摄像头图像、关节状态为输入，以关节目标或末端位姿为输出，用 CNN、Transformer 等网络直接拟合策略。近年来，扩散模型、动作分块（Action Chunking）、视觉-语言-动作模型（VLA）进一步提升了多任务与泛化能力。LeRobot 正是这一趋势下的工程化产物：它把数据集格式、策略实现、训练脚本、仿真与真机部署整合到统一框架中，降低了复现门槛。

三、LeRobot 项目定位

LeRobot 是 Hugging Face 主导的开源机器人学习库，目标是把“机器人学习”做成像使用 Transformers 一样简单。它提供统一的数据集格式（LeRobotDataset）、多种策略实现（ACT、Diffusion Policy、TDMPC 等）、训练与评估脚本，以及与 SO-100、ALOHA、Koch 等硬件的对接能力。对学习者而言，LeRobot 的价值在于：不必从零搭建数据采集、格式转换、训练循环和部署链路，而是站在统一接口上理解并改造策略。

四、方法流程：一次完整的模仿学习工程闭环

无论使用哪种策略，机器人模仿学习工程通常遵循以下闭环。理解这个闭环，比记住某个网络结构更重要。

1. 任务定义：明确机器人、末端执行器、观测空间（相机数量与分辨率）、动作空间（关节位置/速度/末端位姿）和成功判据。
2. 示范采集：通过遥操作、拖动示教或动捕设备采集多回合轨迹，保证覆盖不同初始位置与物体摆放。
3. 数据整理：转换为 LeRobotDataset 格式，划分训练/验证集，计算归一化统计量，检查时间戳与视频同步。
4. 策略选择与训练：根据任务复杂度选择 BC、ACT 或 Diffusion Policy，配置批量大小、学习率、动作分块长度等参数。
5. 评估与部署：先在仿真或回放中验证，再上真机测试；记录成功率、失败模式与干预点。
6. 迭代复盘：根据失败案例补充示范数据、调整观测或改进策略，形成下一轮训练。

五、案例场景：抓取方块任务

假设我们要让 SO-100 机械臂把桌面上的红色方块放入盒子。示范阶段，操作者通过遥操作完成 50 次抓取，每次方块位置略有不同。数据集中包含腕部相机图像、关节位置和动作序列。训练时，策略网络学习“看到方块在某个位置时，各关节应如何运动”。部署时，机器人根据当前图像输出动作，若方块位置超出训练分布，抓取可能失败。此时需要回到数据采集，补充更多位置和光照条件的示范。这个案例贯穿后续章节，是理解数据、策略与部署关系的最小完整场景。

六、常见误区与复盘

七、课程框架速览