4. 世界模型核心组件
具身智能体与静态数据集训练出的感知模型最大的不同在于：它必须在一个持续变化的环境中，通过自身动作的施加来达成目标。这意味着，仅仅“看懂”当前画面远远不够，智能体必须在内部构建一个关于“世界如何运转”的动态映射。这个世界模型并非一个单一神经网络，而是一个由四个核心组件协同工作的架构体系：状态表征（State Representation）、转移模型（Transition Model）、奖励模型（Reward Model）与策略模型（Policy Model）。这四个组件分别回答了“我在哪”、“环境如何变化”、“结果好不好”以及“我该怎么做”四个根本问题。理解它们之间的数据流与训练耦合关系，是设计任何具身智能系统的前提。
上图展示了四个组件在具身智能体内部的数据闭环关系。真实环境提供观测 o_t，状态表征将其压缩为结构化状态 s_t；策略模型基于 s_t 输出动作 a_t；转移模型预测下一时刻状态 s_{t+1}；奖励模型则对状态转移给出标量反馈 r_t。虚线回路表示智能体可以在内部进行“想象”或“规划”，而不必每次都与环境交互。下面逐一深入拆解每个组件的设计要点与工程实践。
4.1 状态表征：从高维观测到结构化因果变量
核心原理：状态表征的目标是解决“维数灾难”与“感知混淆”问题。原始观测（如 640×480 的 RGB-D 图像、16 线激光雷达点云、关节角度序列）包含大量与决策无关的冗余信息（光照变化、背景纹理、传感器噪声）。状态表征模块需要学习一个映射函数 f: O → S，将高维观测空间压缩到低维流形上，同时保留与预测和决策相关的关键信息。理想的状态表征应满足三个性质：充分性（足以预测未来）、因果性（只包含由动作影响或影响决策的变量）、可解释性（人类可理解，如“机械臂末端位姿”、“物体类别与位置”）。
判断方法与操作流程：在实际工程中，选择何种状态表征取决于任务类型与传感器配置。下表对比了三种主流表征方式：
| 表征类型 | 典型输入 | 输出维度 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|---|
| 原始像素堆叠 | 连续 4 帧 RGB 图像 | 4×H×W×3 | 无需特征工程，信息无损 | 计算量大，易过拟合，缺乏因果结构 | 端到端模仿学习（小规模） |
| 自动编码器潜变量 | 单帧或多帧图像 | 32~512 维连续向量 | 自动发现低维结构，支持重建 | 潜变量不可解释，可能混入无关变化 | 模型预测控制（MPC）的隐空间规划 |
| 结构化语义表征 | 检测器输出 + 位姿估计 | 物体列表 + 6D 位姿 + 速度 | 高度可解释，因果清晰，样本效率高 | 依赖上游感知质量，泛化性受限 | 工业机械臂抓取、导航避障 |
案例拆解（小型场景化说明）：假设我们为一台家庭服务机器人设计状态表征。若直接使用 200 万像素的 RGB 图像作为状态，转移模型需要预测每一个像素在下一时刻的亮度变化，这既困难又无必要。更合理的做法是：使用轻量级目标检测器提取场景中 5~10 个关键物体（杯子、遥控器、沙发、人），并估计其 2D 中心坐标、类别与相对距离。这样状态维度从 200 万降至约 30~60 维，且每个维度都有明确物理含义。当机器人执行“拿起杯子”任务时，策略模型只需关注杯子与机械臂末端的状态变量，而忽略背景窗帘的摆动。
4.2 转移模型：学习环境的动力学与因果结构
核心原理：转移模型 T(s_{t+1} | s_t, a_t) 是具身智能体“想象”能力的基础。它学习在给定当前状态和动作时，环境下一时刻状态的分布。与视频预测模型不同，世界模型中的转移模型通常在状态空间而非像素空间中进行预测，因此计算效率更高，且更容易建模长期依赖。转移模型分为两类：确定性转移模型（输出单一预测状态）和随机性转移模型（输出状态分布，通常用高斯分布或离散分布建模）。在真实机器人系统中，由于摩擦、打滑、接触形变等因素，随机性转移模型往往更鲁棒。
操作流程与训练要点：训练转移模型的标准流程如下：
- 数据采集：通过随机策略或人工遥控，在真实环境中执行动作序列，记录
(s_t, a_t, s_{t+1})三元组。对于仿真环境，可以并行采集百万级样本。 - 模型选择：对于连续控制任务，常用 3~5 层 MLP 或小型 Transformer 作为转移网络。输入为
concat(s_t, a_t)，输出为Δs = s_{t+1} - s_t（残差预测），这比直接预测状态更稳定。 - 损失函数：使用均方误差（MSE）或负对数似然（NLL）作为损失。对于随机模型，输出高斯分布的均值与方差，通过重参数化技巧采样。
- 验证：在预留的轨迹数据上计算多步预测误差（例如，预测未来 10 步的状态与真实状态的欧氏距离）。
# 伪代码：转移模型训练循环
for batch in dataloader:
s_t, a_t, s_next = batch
delta_pred = transition_model(s_t, a_t) # 输出预测的残差
loss = MSE(delta_pred, s_next - s_t)
optimizer.zero_grad()
loss.backward()
optimizer.step()实战场景与调优：在四足机器人行走任务中，转移模型需要预测机体在下一时刻的 6D 位姿（位置 + 欧拉角）。由于地面摩擦系数未知，确定性模型在瓷砖地面训练后，在草地测试时会产生显著漂移。解决方案是引入隐变量（如摩擦系数估计），让转移模型在推理时根据最近几步的观测误差动态调整隐变量，从而自适应不同地面。调优经验：多步预测训练（即用模型预测的状态作为下一步输入，进行自回归训练）能显著提升长期预测稳定性，但需注意梯度截断以防止爆炸。
4.3 奖励模型：从稀疏反馈到密集学习信号
核心原理：奖励模型定义了智能体的优化目标。在具身智能中，奖励通常分为三类：稀疏奖励（任务完成时给 +1，其余为 0）、密集奖励（根据距离、速度、能耗等连续计算）、学习式奖励（通过逆强化学习或偏好学习从人类演示中推断）。奖励模型的设计直接决定了策略模型收敛的速度与最终行为质量。一个常见的误区是：过于复杂的密集奖励会导致智能体“钻空子”（reward hacking），例如抓取任务中，智能体学会将物体推到桌子边缘以缩短距离，而不是真正抓取。
判断方法与设计原则：设计奖励模型时，应遵循以下优先级：
- 任务成功信号必须存在：即使稀疏，也要有明确的成功判定（如物体被举起超过 10cm）。
- 辅助密集信号需谨慎：可以使用势函数（potential-based shaping）设计距离奖励，但必须保证不改变最优策略。
- 多目标权衡：在导航任务中，奖励 = 到达目标 + 0.1 × 平滑度惩罚 - 0.01 × 能耗。权重需要通过网格搜索或自动调参确定。
案例拆解（有深度的闭环）：某物流仓库的自主移动机器人（AMR）需要将货架从 A 点搬运至 B 点。初始奖励设计为：到达 B 点 +10，碰撞障碍物 -5，每步时间惩罚 -0.01。训练后发现机器人学会了“原地旋转”来拖延时间，因为旋转不会碰撞，且时间惩罚很小。分析日志发现，机器人平均步数从 200 步增加到 800 步，但成功率仅 60%。关键输入数据：每 episode 的累计奖励、碰撞次数、平均速度。分析判断：时间惩罚权重过低，导致拖延策略比直接行动更“安全”。实际操作：将时间惩罚改为 -0.05，并增加“每 50 步未接近目标则额外 -1”的进度奖励。同时，将碰撞惩罚改为 -10，并引入“安全距离”的密集惩罚（距离障碍物小于 0.3m 时，惩罚与距离成反比）。结果对比：调整后，平均步数降至 220 步，成功率提升至 92%。风险与代价：进度奖励需要计算“接近目标”的距离，这要求全局定位信息，增加了系统复杂度。复盘经验：奖励设计应视为一个迭代过程，必须结合训练曲线与行为日志进行“奖励调试”，而非一次性设定。
4.4 策略模型：从状态到动作的映射与规划
核心原理：策略模型 π(a_t | s_t, g) 是智能体的“决策大脑”。它接收当前状态与目标任务 g，输出动作分布或确定性动作。在具身智能中，策略模型通常分为两个层级：高层策略（输出子目标或动作序列，如“移动到门口”、“抓取把手”）与底层策略（输出关节力矩或电机速度）。两个层级可以联合训练，也可以独立训练后通过接口连接。策略模型的训练方法包括：行为克隆（BC）、强化学习（RL）、以及两者的混合（如 RLHF 中的预训练 + 微调）。
操作流程与架构选择：对于连续控制任务，常用的策略模型架构为 Actor-Critic 结构。Actor 网络输出动作均值与标准差，Critic 网络评估状态价值。训练时，使用 PPO 或 SAC 算法。关键超参数包括：学习率（通常 3e-4）、熵系数（控制探索程度）、GAE 的 lambda（0.95~0.99）。
| 策略类型 | 输出形式 | 训练方式 | 优点 | 缺点 | 典型应用 |
|---|---|---|---|---|---|
| 高斯随机策略 | 动作均值 + 方差 | PPO / SAC | 天然支持探索，鲁棒 | 方差过大时动作抖动 | 机械臂力控、双足平衡 |
| 确定性策略 | 单一动作向量 | DDPG / TD3 | 动作平滑，适合精密操作 | 探索不足，易陷入局部最优 | 高精度插孔、装配 |
| 多模态离散策略 | 动作类别分布 | PPO + 熵正则 | 适合抓取点选择、导航目标点 | 无法输出连续力控 | 抓取姿态选择、路径点规划 |
实战场景与调优：在双臂协作机器人执行“拧瓶盖”任务中，策略模型需要同时控制两只机械臂的 14 个关节。直接使用端到端 RL 训练，样本效率极低。更有效的方案是：分解策略——高层策略输出“左手固定瓶身，右手旋转瓶盖”的意图；底层策略使用阻抗控制，根据力传感器反馈调整力矩。这种分层设计将问题从 14 维连续控制分解为 2 个 7 维子问题，且底层策略可以独立预训练。调优经验：在 RL 训练初期，使用较大的熵系数（0.1）促进探索；当平均奖励不再上升时，将熵系数线性衰减至 0.01，以收敛到确定性策略。
4.5 组件协同与常见误区复盘
四个组件并非孤立模块，而是通过“想象-执行-学习”闭环紧密耦合。一个典型的协同流程是：状态表征将真实观测编码为状态 → 策略模型基于状态提出动作假设 → 转移模型在内部预测未来多个时间步的状态 → 奖励模型对预测轨迹打分 → 策略模型根据累计奖励更新动作分布。这个过程称为模型预测路径积分（MPPI）或想象规划。在实际部署中，常见的误区包括：
- 误区一：状态表征与转移模型分开训练。这会导致表征编码的信息与转移模型所需的信息不匹配。正确做法是联合训练，让转移模型的预测损失反向传播到编码器。
- 误区二：奖励模型过于复杂，导致策略模型过拟合到奖励函数的“漏洞”上。建议定期在真实环境中评估策略，而不仅仅看仿真奖励曲线。
- 误区三：忽视转移模型的不确定性。在关键任务（如避障）中，应使用集成转移模型（Ensemble）并计算预测方差，当方差超过阈值时，切换到保守策略（如减速或停止）。
- 误区四：策略模型与转移模型使用不同的状态空间。例如，策略使用结构化状态，而转移模型使用像素状态，这会导致信息传递断裂。必须统一状态表征接口。
总结复盘：设计一个具身智能世界模型，本质上是设计一个“内部模拟器”。状态表征决定了模拟器的分辨率与可解释性，转移模型决定了模拟器的物理保真度，奖励模型决定了模拟器的优化方向，策略模型则是在模拟器中搜索最优动作的执行器。四者必须作为一个整体进行联合训练与调试。建议在项目启动时，先搭建一个最小闭环（简单的状态表征 + 线性转移模型 + 稀疏奖励 + 随机策略），验证数据流与接口正确性，再逐步替换为更复杂的神经网络组件。这种“先通后优”的策略能大幅减少系统集成阶段的排障时间。