2. 机器人操作基础
在进入扩散策略（Diffusion Policy）之前，必须先建立机器人操作任务的“坐标系”：任务如何分类、状态与动作如何表示、示教与模仿学习如何提供数据、强化学习如何补充优化信号，以及扩散策略在其中处于什么位置。只有把这些关系理清，后续的模型设计、数据采集与部署评估才不会变成“只调参、不理解”的黑箱操作。
一、操作任务分类：从几何到语义
机器人操作任务可以从多个维度分类。按操作对象几何关系，可分为抓取、放置、推、拉、旋转、插入、装配等；按接触状态，可分为自由空间运动、接触过渡、稳定接触操作；按任务长度，可分为单步技能（如抓取杯子）与长时序任务（如整理桌面、冲泡咖啡）。在工程中，更常用的是按“技能原语”划分：接近、对齐、抓取、移动、插入、释放。每个原语对应不同的状态关注点与动作精度要求。
例如，抓取任务的核心是末端执行器与物体之间的相对位姿和夹爪开合；插入任务则更关注轴孔对齐、接触力与微小位姿修正。扩散策略擅长建模多模态动作分布，因此在“同一观测下存在多种合理动作”的任务中优势明显，比如绕开障碍物抓取、柔性物体折叠等。
二、状态空间与动作空间：策略的输入与输出
状态空间描述“机器人当前知道什么”，动作空间描述“机器人能做什么”。常见状态包括：关节角、关节速度、末端位姿、夹爪开合、物体位姿、图像特征、力/力矩。动作空间常见有：关节位置增量、关节速度、末端位姿增量、末端速度、夹爪开合指令。选择哪种表示，直接影响策略学习难度与部署安全性。
| 维度 | 常见表示 | 优点 | 注意点 |
|---|---|---|---|
| 状态 | 关节角+图像+力 | 信息丰富，适合视觉策略 | 需时间同步与标定 |
| 动作 | 末端位姿增量 | 直观、易迁移 | 需逆运动学或控制器 |
| 动作 | 关节位置增量 | 直接下发、稳定 | 不同机器人不通用 |
| 动作 | 夹爪开合 | 离散或连续均可 | 需与抓取策略配合 |
三、示教学习与模仿学习：从人类演示到策略
示教学习（Learning from Demonstration, LfD）强调从人类演示中获取技能。演示形式包括遥操作、动觉示教、VR 手柄、视频演示。模仿学习（Imitation Learning, IL）则是从演示数据中学习策略的具体方法族，典型有行为克隆（BC）、逆强化学习（IRL）、对抗模仿学习（GAIL）。行为克隆最简单：把状态映射到动作，用监督学习训练。但 BC 存在协变量偏移问题：训练时见到的状态分布与部署时策略自己产生的状态分布不一致，误差会累积。
扩散策略可以看作一种更强的行为克隆：它不直接输出单一动作，而是学习动作分布的条件去噪过程，从而表达多模态动作。对于人类示教中“同一场景有多种合理操作”的情况，扩散策略比均方误差回归更合适。
# 行为克隆数据样本示意
state: [joint_pos(6), joint_vel(6), gripper(1), image_feat(128)]
action: [delta_pose(6), gripper_cmd(1)]
dataset: 500 episodes × 200 steps
batch_size: 64
loss: MSE(pred_action, demo_action)四、强化学习与扩散策略的关系
强化学习（RL）通过与环境交互、最大化累积回报来学习策略，不依赖专家演示，但需要大量试错与奖励设计。模仿学习依赖演示，样本效率高，但受限于演示质量与覆盖度。扩散策略属于策略表示层的方法，既可以用于模仿学习（从演示中学习去噪网络），也可以与强化学习结合（用 RL 微调扩散策略，或把扩散模型作为策略先验）。
三者的关系可以概括为：示教学习提供数据来源，模仿学习提供训练范式，强化学习提供优化信号，扩散策略提供表达多模态动作的生成式策略结构。在机器人操作中，常见路线是“示教采集 → 行为克隆预训练 → 扩散策略建模 → 少量在线微调”。
五、案例与场景：桌面抓取与插入
以“桌面抓取杯子并放到托盘”为例。状态空间可设为：6 维关节角、6 维关节速度、1 维夹爪开合、1 路 RGB 图像特征。动作空间为 6 维末端位姿增量加 1 维夹爪指令。示教阶段用遥操作采集 200 条成功轨迹；模仿学习阶段用行为克隆预训练；扩散策略阶段把动作序列作为去噪目标，学习从噪声到动作 chunk 的映射。部署时，策略以 10Hz 输出未来 16 步动作，控制器插值执行。
在“轴孔插入”场景中，纯视觉策略容易在接触阶段失败。此时状态中应加入力/力矩信号，动作空间可改为末端位姿增量加柔顺控制参数。扩散策略可以学习“先对齐、再轻推、最后插入”的多阶段动作分布，比单峰回归更鲁棒。
六、复盘：如何选择学习路线
- 有高质量示教、任务多模态：优先模仿学习 + 扩散策略。
- 无示教、可仿真、奖励易设计：优先强化学习，再用扩散策略做策略表示。
- 任务简单、实时性高：优先经典控制或轻量回归策略。
- 接触丰富、精度要求高：状态中加入力觉，动作空间加入柔顺参数。
- 长时序任务：把任务拆成技能原语，每个原语用扩散策略建模，再用状态机或高层策略调度。
理解任务分类、状态与动作空间、示教/模仿/强化学习与扩散策略的关系，是后续设计数据采集、模型结构和评估指标的基础。只有把“任务—状态—动作—学习范式—策略表示”这条链路打通，扩散策略在机器人操作中的工程价值才能真正落地。