2. 机器人策略基础
在机器人策略部署与实机性能验证中，所有讨论最终都会落到一个核心对象上：策略（Policy）。策略决定了机器人在给定观测下应该输出什么动作，它既是训练阶段的产物，也是部署阶段被加载、推理和评估的主体。理解策略的表示形式、学习范式和常见术语，是后续分析推理延迟、动作平滑性、泛化能力与实机成功率的前提。
一、策略表示：从显式规则到神经网络
策略的表示方式决定了它的可解释性、泛化能力和部署成本。常见表示可以分为四类：
- 显式规则/状态机：用 if-else、有限状态机或行为树描述动作逻辑。可解释性强、调试直观，但难以处理高维感知和复杂接触任务。
- 参数化控制器：如 PID、阻抗控制、轨迹插值。策略体现为参数集合，适合底层稳定控制，但上层决策能力弱。
- 神经网络策略：用 MLP、CNN、Transformer、Diffusion 等网络拟合 π(a|o)。能处理图像与多模态输入，是当前主流。
- 混合策略：神经网络输出高层目标或参数，底层由经典控制器执行。兼顾学习能力与控制稳定性，在实机部署中非常常见。
在部署视角下，策略表示还涉及动作空间的选择：关节位置、关节速度、末端位姿增量、力矩，或离散动作 token。动作空间不同，推理后的后处理、限幅、平滑和安全检查逻辑也不同。
二、模仿学习：从示教中学习策略
模仿学习（Imitation Learning, IL）通过专家示教数据学习策略，核心假设是“专家动作可作为监督信号”。最常见的形式是行为克隆（Behavior Cloning, BC）：把观测作为输入、专家动作作为标签，做监督学习。
BC 的典型流程如下：
- 采集示教数据：遥操作、动捕、VR 手柄或人工拖拽，记录观测与动作序列。
- 数据对齐与清洗：时间同步、去除停顿段、处理丢帧与异常值。
- 训练策略网络：最小化预测动作与专家动作的误差。
- 闭环评估：在仿真或实机上运行策略，观察误差累积。
BC 的最大问题是协变量偏移（Covariate Shift）：训练时只见过专家轨迹附近的状态，一旦策略偏离，就会进入未见状态并持续犯错。DAgger 通过让专家对策略访问到的状态进行标注来缓解该问题。另一类方法是逆强化学习（IRL），先推断奖励函数再优化策略，适合示教动作难以直接作为标签的场景。
三、强化学习：通过交互与奖励优化策略
强化学习（Reinforcement Learning, RL）把策略学习建模为马尔可夫决策过程（MDP）：智能体在状态 s 下执行动作 a，获得奖励 r 并转移到下一状态。目标是最大化累计回报。
RL 方法大致分为：
- 基于值：学习 Q(s,a) 或 V(s)，再导出策略，如 DQN、SAC 中的 critic。
- 基于策略：直接优化 π(a|o)，如 REINFORCE、PPO。
- Actor-Critic：策略网络与价值网络联合训练，兼顾方差与偏差。
- 基于模型：学习环境动力学模型，在模型内规划或生成数据，如 Dreamer、MBPO。
在机器人上，RL 的难点在于样本效率与安全探索。实机采样成本高、损坏风险大，因此常采用仿真预训练 + 实机微调、域随机化、安全约束与残差学习等策略。奖励设计也极为关键：稀疏奖励难以探索，密集奖励容易导致投机行为。
四、端到端学习：从感知到动作的统一映射
端到端学习（End-to-End Learning）指用一个模型直接从原始观测映射到动作，跳过人工设计的状态估计、规划与控制器模块。典型代表包括：输入图像与关节状态，输出关节动作的 CNN/Transformer 策略；以及近年流行的视觉-语言-动作模型（VLA），将语言指令、图像和动作统一到序列建模框架中。
端到端策略的优势是减少模块间误差传递、可利用大规模数据；挑战是数据需求大、可解释性弱、调试困难，且对推理延迟和实时性要求高。部署时通常需要量化、蒸馏或动作分块（Action Chunking）来满足控制频率。
五、常见术语与对比
| 术语 | 含义 | 部署关注点 |
|---|---|---|
| Policy π | 观测到动作的映射 | 推理频率、动作范围 |
| Observation o | 策略输入，如图像、关节角 | 传感器同步、延迟 |
| Action a | 策略输出，如关节目标 | 限幅、平滑、安全 |
| Behavior Cloning | 监督式模仿学习 | 协变量偏移 |
| DAgger | 交互式模仿学习 | 需专家在线标注 |
| PPO / SAC | 常见 RL 算法 | 样本效率、稳定性 |
| Domain Randomization | 仿真中随机化参数 | Sim-to-Real 迁移 |
| Action Chunking | 一次推理输出多步动作 | 降低推理频率 |
| VLA | 视觉-语言-动作模型 | 多模态输入、延迟 |
六、案例与误区复盘
以一个抓取放置任务为例：若采用 BC，示教 50 条轨迹后策略在训练分布内表现良好，但遇到新物体位置时容易失败，原因是状态覆盖不足；若改用 RL，在仿真中训练数百万步后迁移到实机，常因视觉域差异和动力学差异导致成功率下降；若采用端到端 VLA，语言指令泛化好，但推理延迟可能超过控制周期，需要动作分块与异步执行。
理解策略表示、模仿学习、强化学习与端到端学习的关系，有助于在部署阶段快速定位问题来源：是数据覆盖不足、奖励设计偏差、动作空间不匹配，还是推理延迟与执行频率冲突。这些判断将直接决定后续的优化方向。