4. 并行仿真基础
在机器人强化学习中，单环境采样往往成为训练吞吐的瓶颈：策略每更新一次，就需要成千上万步交互数据，而物理引擎逐步推进、渲染与观测计算又高度依赖 CPU。Isaac Lab 的核心价值，正是把“一个环境”扩展为“成千上万个环境同时推进”，用 GPU 的并行能力把采样时间压缩到可接受范围。理解这一点的关键，是掌握向量化环境、GPU 并行机制、环境数量与批量维度的关系，以及并行与串行的性能差异。
一、向量化环境：把 N 个环境当成一个张量
向量化环境（Vectorized Environment）并不是简单地把多个环境放进一个 for 循环，而是把 N 个独立环境的状态、动作、观测组织成统一维度的张量，由同一套代码路径批量推进。在 Isaac Lab 中，一个 env 对象内部实际管理着 num_envs 个并行实例，每个实例拥有独立的物理状态、随机化参数和回合进度，但共享同一份场景资产与仿真步进逻辑。
这种设计带来两个直接好处：其一，采样不再依赖 Python 层的循环，而是由底层张量运算一次性完成；其二，策略网络接收的观测天然带有批量维度，可以直接送入 GPU 做前向推理。换句话说，向量化环境把“环境数量”变成了“批量大小”的一部分，使采样与训练在数据形状上无缝衔接。
观测张量形状 = [num_envs, obs_dim]
动作张量形状 = [num_envs, action_dim]
奖励张量形状 = [num_envs]
所有环境在同一时刻推进，但各自维护独立状态。
二、GPU 并行机制：从“多进程”到“单核多实例”
传统并行方案通常采用多进程 CPU 环境，例如每个进程跑一个 MuJoCo 实例，通过进程间通信汇总数据。这种方式受限于 CPU 核数，通常只能做到几十个环境，且通信开销随环境数增加而上升。Isaac Lab 则把物理仿真、碰撞检测、传感器计算全部放到 GPU 上，利用 CUDA 核心同时处理大量环境实例。
其并行机制可以概括为三层：第一层是数据并行，所有环境的状态存储在显存中的大张量里，一次 kernel 调用即可更新全部实例；第二层是场景并行，同一场景中的多个机器人或物体可以共享空间划分与碰撞结构；第三层是任务并行，不同环境可以有不同的随机化参数、目标位置和地形配置，但仍在同一批次中推进。正是这种“单次调用、批量处理”的模式，让环境数量从几十跃升到数千甚至上万。
三、环境数量与批量维度：参数如何影响训练
在 Isaac Lab 中，num_envs 是最重要的超参数之一。它既决定并行采样的规模，也直接改变批量维度。以常见的配置为例：
from isaaclab.envs import ManagerBasedRLEnv
env = ManagerBasedRLEnv(
cfg=task_cfg,
num_envs=4096, # 并行环境数量
device="cuda:0", # 全部实例驻留 GPU
)
obs, info = env.reset()
# obs["policy"].shape == [4096, obs_dim]
actions = policy(obs["policy"]) # [4096, action_dim]
obs, reward, terminated, truncated, info = env.step(actions)
# reward.shape == [4096]
可以看到，num_envs 直接映射为张量的第 0 维。批量维度越大，单次前向传播覆盖的样本越多，GPU 利用率越高；但显存占用、物理步进耗时和回合重置开销也会同步增长。因此，环境数量并非越大越好，而是需要在显存、吞吐和策略更新频率之间取得平衡。
| 参数 | 含义 | 典型取值 | 影响 |
|---|---|---|---|
num_envs |
并行环境实例数量 | 1024 ~ 8192 | 决定批量维度与采样吞吐 |
device |
仿真与计算设备 | cuda:0 |
决定是否启用 GPU 并行 |
decimation |
策略步与物理步的比例 | 2 ~ 8 | 影响单步仿真开销 |
episode_length_s |
回合时长 | 5 ~ 20 秒 | 影响重置频率与数据多样性 |
seed |
随机种子 | 固定或随机 | 影响可复现性与探索多样性 |
四、并行仿真与串行仿真的性能对比
为了直观理解并行仿真的优势，可以对比三种典型方案：单环境串行、多进程 CPU 并行、GPU 向量化并行。假设任务为四足机器人行走，策略网络相同，统计每秒可采集的环境步数（env steps per second）。
| 方案 | 环境数量 | 设备 | 吞吐（约） | 主要瓶颈 |
|---|---|---|---|---|
| 单环境串行 | 1 | CPU | 数百步/秒 | Python 循环与物理步进 |
| 多进程 CPU 并行 | 16 ~ 64 | CPU 多核 | 数千步/秒 | 进程通信与核数上限 |
| GPU 向量化并行 | 4096 | GPU | 数十万步/秒 | 显存容量与内核效率 |
从数量级上看，GPU 向量化并行可以把采样吞吐提升两到三个数量级。这意味着原本需要数小时才能收集到的经验，现在几分钟内即可完成。更重要的是，批量维度增大后，策略网络的梯度估计方差降低，训练曲线通常更平滑，收敛所需的更新次数也可能减少。
num_envs 超过 GPU 显存或计算单元的最佳负载后，单步耗时上升，吞吐反而下降。建议从 1024 或 2048 开始，逐步倍增并观察 env steps/s 与显存占用，找到当前硬件的最佳工作点。
五、常见误区与复盘
- 误区一：环境数量越多越好。 显存溢出会导致仿真直接失败，或触发频繁的显存交换，反而拖慢训练。应结合任务复杂度与 GPU 型号设定上限。
- 误区二：把并行环境当成独立进程。 Isaac Lab 的并行环境共享同一份场景与物理场景，随机化通过张量参数实现，而不是启动多个进程。
- 误区三：忽略批量维度对策略的影响。 批量增大后，优势估计与折扣回报的计算方式不变，但经验回放或在线更新的批次组织需要同步调整。
- 误区四：只看吞吐不看样本质量。 环境数量增加会带来更多样的初始状态，但如果随机化范围设置不当，策略可能学到过于保守的行为。
复盘时，建议记录以下指标：num_envs、显存占用、每秒环境步数、单次策略更新耗时、平均回合长度和训练奖励曲线。通过这些数据，可以判断当前配置是受限于显存、计算还是策略更新频率，从而有针对性地调整环境数量与批量维度。
num_envs（如 64 或 128）验证任务逻辑与奖励函数，确认无误后再放大到数千环境。否则，一个微小的奖励设计错误会在海量并行环境中被迅速放大，浪费大量算力。
总结来说，向量化环境把“环境数量”转化为“批量维度”，GPU 并行机制让这一批量在单次内核调用中完成推进，而并行与串行的性能差距则决定了强化学习训练能否从“小时级”进入“分钟级”。理解这三者的关系，是后续进行策略训练优化的基础。