📚 课程目录第4章灵巧手操作中的仿真环境

4. 灵巧手操作中的仿真环境

灵巧手强化学习的第一道工程门槛，不是算法，而是仿真环境。策略网络在真实手上试错成本极高，因此我们必须在仿真中完成大规模采样。不同物理引擎在接触求解、并行能力、渲染质量和生态上差异明显，选错平台往往会让后续训练事倍功半。本节围绕 MuJoCo、Isaac Gym、PyBullet 三个主流平台，讲清它们的特点、模型导入方式与场景搭建流程。

一、核心原理：三类引擎的定位差异

MuJoCo 采用凸优化接触模型，对关节、肌腱、接触的求解稳定且精确，是灵巧手这类高自由度、多接触系统的传统首选。它的模型描述格式为 MJCF（XML），对执行器、传感器、接触参数有细粒度控制，适合做精细操作策略研究。

Isaac Gym 的核心优势是 GPU 并行：物理仿真与策略训练都驻留在显存中，可同时运行数千个环境实例，通过张量接口直接喂给 PyTorch。它适合需要海量样本的域随机化与大规模 PPO 训练，但对显存和显卡型号有硬性要求。

PyBullet 轻量、开源、Python 接口友好，支持 URDF、MJCF、SDF 多种格式，调试直观，适合快速验证抓取逻辑与教学演示；但其接触求解精度和并行规模弱于前两者，大规模训练时吞吐受限。

二、方法流程：模型导入与场景搭建

无论使用哪个平台，流程都可归纳为“资产准备 → 模型导入 → 场景装配 → 接口封装 → 训练接入”。以 MuJoCo 为例，灵巧手通常先由 CAD 导出 URDF，再转换为 MJCF，并补充执行器与传感器定义：

<mujoco model="hand">
  <compiler angle="radian" meshdir="meshes/"/>
  <option timestep="0.002" integrator="implicitfast"/>
  <default>
    <joint damping="0.5" armature="0.01"/>
    <geom friction="1.0 0.05 0.001" solref="0.02 1"/>
  </default>
  <worldbody>
    <body name="palm">
      <geom type="mesh" file="palm.stl"/>
      <joint name="j0" type="hinge" axis="0 0 1" range="-1.57 1.57"/>
      <site name="fingertip" pos="0 0 0.08"/>
    </body>
  </worldbody>
  <actuator>
    <position name="act_j0" joint="j0" kp="20"/>
  </actuator>
  <sensor>
    <touch name="tip_touch" site="fingertip"/>
  </sensor>
</mujoco>

Isaac Gym 则通过 Python 构建场景，用 gym.create_actor 加载资产，用 gym.acquire_*_tensor 获取状态张量，环境数量由 num_envs 控制。PyBullet 常用 p.loadURDF() 加载模型，再用 setJointMotorControl2 驱动关节。三者的场景搭建思路一致，差别在于资产格式与并行方式。

三、案例场景：三指手抓取立方体

以三指灵巧手抓取立方体为例：在 MuJoCo 中搭建单环境，设置桌面、立方体与手，观测为 12 个关节角加指尖接触力，动作为 12 维位置增量，奖励为“指尖到目标点距离 + 抬升高度 − 掉落惩罚”。在 Isaac Gym 中把该任务复制到 4096 个环境，加入物体质量、摩擦系数、初始位姿的域随机化，用 PPO 并行训练。在 PyBullet 中先做单环境可视化调试，确认抓取姿态与接触点合理，再迁移到前两者做大规模训练。

四、平台对比与选型清单

维度	MuJoCo	Isaac Gym	PyBullet
接触求解	凸优化，稳定精确	GPU 并行，精度良好	较简单，易穿透
并行规模	多进程，中等	数千环境，极高	多进程，较低
模型格式	MJCF 为主	URDF / MJCF / USD	URDF / MJCF / SDF
硬件依赖	CPU 即可	NVIDIA GPU	CPU 即可
适用阶段	精细操作研究	大规模并行训练	快速验证与教学

选型建议：先明确“需要多少样本、显卡是否可用、接触精度要求多高”。若做触觉精细操作，优先 MuJoCo；若做域随机化大规模训练，优先 Isaac Gym；若只是验证抓取逻辑，PyBullet 最快。

五、常见误区与复盘

单位与坐标系不统一：CAD 常用毫米，仿真常用米，导入后模型巨大或微小，导致接触异常。
碰撞体与视觉体混用：高精度网格直接做碰撞体，计算量爆炸且易穿透，应使用简化凸包。
时间步过大：灵巧手接触频繁，timestep 建议 0.001～0.002，否则求解发散。
忽略执行器建模：直接给关节力矩而不加限幅与延迟，策略迁移到真机会失效。
域随机化过度：参数范围过大导致任务不可解，应先小范围再逐步扩展。

复盘要点：仿真环境不是“越真实越好”，而是“与真实差距可控”。每次训练前记录随机化参数范围与接触参数，训练后对比仿真与真机的成功率差距，才能定位是模型误差还是策略问题。

掌握三个平台的特点与搭建流程后，下一步就是让灵巧手在仿真中真正“动起来”：从模型导入、场景装配到接口封装，每一步都直接影响策略能否学到有效操作。建议先用 PyBullet 快速跑通单环境，再迁移到 MuJoCo 或 Isaac Gym 做规模化训练，形成“验证—训练—迁移”的稳定工作流。