3、环境与数据准备：常用仿真环境（如MuJoCo、Habitat、CARLA）、数据集构建与预处理方法
世界模型的训练高度依赖“环境交互”与“数据质量”。与自然语言或静态图像任务不同，世界模型需要从连续、多模态、时序交互中学习状态转移规律，因此仿真环境的选择直接决定了模型能观察到什么、能做什么动作、以及反馈信号的密度与真实性。同时，仿真平台产出的原始数据往往包含噪声、冗余帧、传感器偏差和分布偏移，必须经过系统化的构建与预处理才能用于稳定训练。本章围绕三大主流仿真环境（MuJoCo、Habitat、CARLA）的选型逻辑、数据管线设计、预处理策略与常见工程陷阱展开，帮助读者建立从“环境选择”到“可训练数据集”的完整方法论。
3.1 核心原理：仿真环境如何决定世界模型的学习边界
世界模型的核心目标是学习环境的动态转移函数 P(s_{t+1} | s_t, a_t) 以及对应的观测生成模型 O(o_t | s_t)。仿真环境本质上是一个可编程的“真实世界替身”，它提供了状态空间、动作空间、观测空间以及奖励/代价信号。选择不同的仿真环境，意味着模型学习到的“物理规律”和“语义结构”完全不同。例如，MuJoCo 提供精确的刚体动力学和接触模型，适合学习连续控制中的力与运动关系；Habitat 提供照片级逼真的室内场景渲染，适合学习视觉特征与空间布局的耦合；CARLA 则提供复杂的城市交通流和多种传感器噪声模型，适合学习多智能体交互和长尾驾驶场景。
从数据生成角度看，仿真环境的价值不仅在于“能跑”，更在于“可控”。研究者可以自由调节物理参数（摩擦系数、重力）、光照条件、天气、交通密度、传感器噪声水平等，从而生成覆盖分布内与分布外场景的数据。这种可控性是世界模型泛化能力的关键——如果只在单一固定条件下采集数据，模型学到的转移规律将严重过拟合于仿真器的默认参数。
3.2 操作流程：从环境选型到数据集落地的完整步骤
构建世界模型训练数据集并非简单地从仿真器中“录屏”，而是一个包含环境配置、数据采集、清洗、对齐、增强、存储的工程化流程。以下是一个经过验证的六步操作流程，适用于大多数基于仿真环境的世界模型项目。
- 环境配置与接口封装：根据任务选择仿真器（如 MuJoCo 用于控制、Habitat 用于导航、CARLA 用于驾驶），并封装统一的 Gymnasium 风格接口，确保
reset()、step()、render()方法返回标准化的状态、动作、观测字典。 - 策略数据采集：使用随机策略、专家策略（如 MPC、强化学习预训练策略）或混合策略与环境交互，记录
(s_t, a_t, r_t, s_{t+1}, o_t, done)元组。关键点在于覆盖足够多样的状态空间，避免只采集高奖励轨迹。 - 原始数据清洗：剔除仿真器崩溃、NaN 状态、动作越界、观测缺失等异常片段。对于视觉观测，检查是否存在全黑帧、花屏或传感器遮挡。
- 多模态对齐：若使用多传感器（如 CARLA 的相机 + LiDAR），需根据时间戳进行插值对齐，并将不同传感器坐标系下的数据统一到车体或机器人基座坐标系。
- 数据增强与标准化：对图像施加随机亮度、对比度、高斯噪声；对状态向量进行归一化（零均值单位方差）；对动作空间进行缩放（如映射到 [-1, 1]）。增强策略需与仿真器的物理特性保持一致，避免引入不真实的样本。
- 存储与版本管理：将处理后的数据写入 HDF5 或 WebDataset 格式，按场景、天气、难度分片存储，并记录数据版本、仿真器版本、采集策略等元信息，便于后续复现与回滚。
| 步骤 | 关键输入 | 输出产物 | 常见工具 |
|---|---|---|---|
| 环境配置 | 任务定义、物理参数 | 可交互环境实例 | MuJoCo, Habitat, CARLA |
| 数据采集 | 策略、探索噪声 | 原始轨迹数据 | Gymnasium, Ray, 自研脚本 |
| 清洗 | 原始轨迹 | 干净轨迹集 | Pandas, NumPy |
| 对齐 | 多传感器数据 | 时间同步、坐标统一的数据 | ROS, Open3D, 自研对齐器 |
| 增强 | 干净轨迹 | 增强后的多样化数据 | Albumentations, imgaug |
| 存储 | 增强后数据 | 分片数据集 + 元数据 | HDF5, WebDataset, Zarr |
3.3 案例拆解：基于 CARLA 的自动驾驶世界模型数据管线实战
某自动驾驶团队希望训练一个世界模型，用于预测车辆前方 2 秒内的多模态观测演变（相机图像 + 激光雷达点云），并辅助规划模块进行安全决策。初始目标是在 CARLA 仿真器中构建一个包含晴天、雨天、夜晚、黄昏四种天气，以及城市、高速、居民区三种场景的数据集。团队面临的核心约束是：数据采集时间有限（仅 72 小时），且需要保证模型在未见过的天气组合下仍有一定泛化能力。
初始现象是：使用随机策略采集的数据中，车辆频繁偏离车道或碰撞，导致大量轨迹在 5 秒内终止，有效数据占比不足 30%。分析发现，随机策略无法维持车辆的基本行驶状态，导致状态空间覆盖严重偏向于“碰撞前”的异常状态。团队随即改用 CARLA 自带的自动驾驶专家策略（Autopilot）进行采集，并叠加小幅度的高斯噪声（标准差 0.1）以增加状态多样性。调整后，有效轨迹长度提升至平均 30 秒，数据利用率超过 85%。
在预处理阶段，团队发现相机与 LiDAR 的时间戳存在最大 50ms 的偏差，导致点云投影到图像时出现明显错位。他们编写了对齐模块，利用线性插值将 LiDAR 点云重采样到相机帧的曝光时刻，并将所有传感器数据统一到车辆后轴中心坐标系。随后，对图像应用了随机亮度扰动（±20%）和模拟雨滴噪声，对点云施加随机丢弃（dropout 概率 0.05）以模拟传感器衰减。最终，数据集被划分为 80% 训练、10% 验证、10% 测试，并按天气和场景分层抽样，确保测试集包含训练中未出现的“雨天+高速”组合。
训练结果显示，经过完整预处理的数据集使世界模型的预测误差（以 FID 和点云 Chamfer 距离衡量）降低了约 40%，而未经对齐和增强的基线模型在“雨天+高速”测试集上几乎失效。复盘经验表明：数据采集策略的多样性比单纯增加数据量更重要；传感器对齐是融合多模态数据的前提；增强策略必须与仿真器的物理渲染模型匹配，否则会引入虚假的分布偏移。
3.4 常见误区与总结复盘
在环境与数据准备阶段，团队常陷入以下误区，导致后续训练事倍功半。
- 误区一：盲目追求高保真渲染。虽然 Habitat 和 CARLA 的视觉质量很高，但高保真渲染带来巨大的计算开销，降低数据采集速度。对于世界模型，有时低分辨率的 RGB 加上深度图就足够学习状态转移，不必强求 4K 画质。
- 误区二：忽略动作空间的边界。仿真器允许输出任意连续动作，但真实物理系统往往有执行器饱和限制。若不在数据预处理时对动作进行裁剪或缩放，模型会学到不切实际的“超能力”动作。
- 误区三：数据增强过度。对图像施加过强的颜色抖动或几何变换，可能破坏物理一致性（例如，将天空颜色从蓝色变为紫色在现实中不可能发生）。增强应模拟传感器噪声和光照变化，而非改变物理规律。
- 误区四：忽视数据版本管理。仿真器版本升级、物理参数调整都会导致数据分布变化。若不记录版本信息，旧数据可能无法用于新模型的训练，造成资源浪费。
总结复盘：环境与数据准备是世界模型项目的“地基工程”。一个高质量的数据集应具备三个特征——覆盖度（状态空间和动作空间覆盖广泛）、一致性（多模态数据在时间和空间上严格对齐）、可复现性（数据版本和采集参数完全可追溯）。建议团队在项目启动初期就建立标准化的数据采集与处理流水线，并设置数据质量门禁（如检查 NaN 比例、传感器对齐误差、动作分布范围），确保进入训练环节的数据是干净且可信的。这虽然会增加前期工作量，但能显著减少后期因数据问题导致的反复调试成本。