4. 策略部署流程概述
机器人策略在仿真或离线数据中训练完成后，并不会自动“变成”一台能稳定工作的实机系统。策略部署的本质，是把一个在理想化数据分布上拟合出的函数，迁移到存在延迟、噪声、摩擦、磨损和不确定性的物理世界中。因此，部署流程不是简单的“拷贝模型—运行推理”，而是一条包含模型导出、观测对齐、控制接口适配、实时性保障、安全约束和在线评估的工程链路。理解这条链路的完整结构，是后续逐项深入的前提。
核心认知：训练解决的是“策略会不会”，部署解决的是“策略在真实条件下能不能稳定地做出来”。二者之间的差距，通常由观测、动作、时序、硬件和安全五个维度共同决定。
一、部署链路的整体结构
从训练环境到实机，策略要经过若干次形态转换：训练框架中的计算图，先被导出为可移植的模型文件；再由推理运行时加载，与实机观测拼接成输入张量；推理输出经过动作后处理，映射为关节位置、速度或力矩指令；最后通过实时控制总线下发到执行器，同时由安全层持续监控。整个过程形成一个闭环，任一环节的偏差都会在闭环中被放大。
二、关键环节拆解
部署链路可以拆成六个关键环节，每个环节都有明确的输入、输出和验收标准。把它们显式列出，能避免“模型能跑就算部署完成”的常见误判。
| 环节 | 主要工作 | 典型验收标准 |
|---|---|---|
| 模型导出 | 冻结权重、固定输入输出形状、去除训练专用算子 | 导出模型与训练模型在相同输入下输出误差小于 1e-4 |
| 观测对齐 | 统一关节顺序、坐标系、单位、归一化参数与时间戳 | 实机观测与仿真观测在同一姿态下数值一致 |
| 动作映射 | 将策略输出映射为位置/速度/力矩指令，处理缩放与限幅 | 空载低速下动作方向、幅度与预期一致 |
| 实时性保障 | 推理耗时测量、线程绑定、控制周期与推理周期解耦 | 推理耗时 P99 小于控制周期的 50% |
| 安全约束 | 限位、限速、力矩上限、急停与超时保护 | 触发任一保护后系统在 100 ms 内进入安全状态 |
| 在线评估 | 成功率、恢复能力、能耗、异常日志与回放 | 连续 20 次任务中成功率与仿真差距可解释 |
三、典型场景：从仿真到实机的第一次运行
假设一个四足机器人策略在 Isaac Gym 中训练完成，目标是让机器人以指定速度跟踪指令。第一次上实机时，推荐按“分层放开”的方式推进，而不是直接闭环运行完整策略。
- 静态观测核对：把机器人悬挂或置于支架上，只读取观测，不执行动作，逐项比对关节角、角速度、IMU 姿态与仿真中的定义。
- 开环动作测试：给定固定观测，记录策略输出，检查动作范围是否落在安全区间内，并确认关节方向符号正确。
- 单关节闭环：只让部分关节跟踪策略输出，其余关节保持锁定，观察是否存在高频抖动或积分饱和。
- 低速整机运行：将策略输出乘以一个较小的缩放系数，降低运动速度，逐步放大到正常水平。
- 异常注入：人为引入轻微外力、地面不平或通信延迟，观察策略的恢复能力和安全层响应。
实用建议：第一次实机运行前，先准备一份“观测—动作对照表”，把每个维度的名称、单位、范围、来源和期望值写清楚。大量部署问题在填表阶段就会暴露，而不是等到机器人摔倒之后。
四、常见挑战与误区
部署失败往往不是单一原因，而是多个小偏差叠加。以下是最常见的几类问题。
- 观测分布偏移：仿真中的传感器噪声模型过于理想，实机存在偏置、延迟和量化误差，导致策略输入落在训练分布之外。
- 动作接口不一致：训练时输出的是归一化动作，实机直接当作弧度使用，造成幅度放大数倍。
- 时序错位：观测时间戳与动作执行时间不匹配，策略实际响应的是“过去的状态”，在高速运动中尤其致命。
- 推理阻塞控制：把推理放在控制线程中同步执行，一旦推理抖动，整个控制周期被拉长，引发振荡。
- 安全层缺失：只依赖策略自身输出范围，没有独立的限幅与急停逻辑，异常时无法兜底。
- 评估口径模糊：只看“跑起来了”，没有定义成功率、恢复时间和能耗指标，无法判断部署是否真正达标。
常见误区：把仿真中的高成功率直接等同于实机性能。仿真成功率反映的是策略在训练分布内的拟合程度，而实机性能还取决于观测对齐、时序、硬件响应和安全约束。两者之间必须通过分层测试逐步建立可信度。
五、部署检查清单
在正式运行前，建议用下面的清单做一次快速自检。清单中的每一项都对应一个可验证的事实，而不是主观判断。
部署前检查清单
[ ] 模型已导出为推理格式，且与训练模型输出一致
[ ] 观测维度、顺序、单位、归一化参数已逐项核对
[ ] 动作缩放系数、限幅范围、关节方向符号已确认
[ ] 推理耗时 P99 已测量，且小于控制周期的 50%
[ ] 推理线程与控制线程已分离，无共享锁竞争
[ ] 关节限位、速度上限、力矩上限已配置并生效
[ ] 急停、超时保护、观测异常检测已联调通过
[ ] 日志与回放数据已开启，可复现失败场景
[ ] 成功率、恢复时间、能耗指标已定义并记录