📚 课程目录第4章时空状态表示

4. 时空状态表示

在驾驶世界模型中，时空状态表示决定了模型“看见什么、记住什么、预测什么”。同一段驾驶场景，可以被组织成规则张量、离散栅格、动态图或连续隐向量，不同表示会直接影响计算效率、几何精度、交互建模能力与可解释性。本节围绕四种主流表示展开，帮助你在工程中做出有依据的选型。

一、核心原理：四种表示的本质差异

时空状态表示的核心任务，是把连续、多主体、多模态的驾驶世界压缩成可计算的状态变量。四种表示的区别，本质上是“离散化程度”与“结构先验”的不同组合。

时空张量：将时间、空间、通道统一为规则维度，如 [T, H, W, C] 或 [B, T, C, H, W]。它保留完整时空邻域，适合卷积、3D卷积和Transformer的窗口注意力。
栅格化表示：把BEV平面划分为固定网格，每个格子存储占用、速度、语义类别等。它天然对齐图像与点云，是规划模块最易消费的接口。
图结构表示：以智能体、车道、信号灯为节点，以交互关系为边，动态构建时空图。它擅长表达稀疏交互和非欧几里得关系。
连续隐空间表示：用神经网络编码为低维连续向量 z ∈ R^d，不显式定义网格或节点，适合生成式预测和不确定性建模。

  选型口诀：要几何精度选栅格，要交互推理选图，要端到端生成选隐空间，要统一批处理选张量。

二、方法流程：从原始感知到状态表示

无论采用哪种表示，工程流程通常遵循“感知输入 → 坐标对齐 → 状态编码 → 时序融合 → 预测头”的链路。差异出现在状态编码与时序融合阶段。

感知输入：多相机图像、激光点云、毫米波雷达、高精地图与自车运动学。
坐标对齐：统一到自车坐标系或BEV坐标系，时间戳对齐到固定频率（如10Hz）。
状态编码：张量用3D卷积/时空注意力；栅格用BEV池化；图用GNN消息传递；隐空间用VAE或扩散编码器。
时序融合：张量沿T维卷积或Transformer；栅格用RNN/时序BEV；图用时空图网络；隐空间用RNN或状态空间模型。
预测头：输出未来轨迹、占用栅格、交互意图或隐变量分布。

# 以栅格化BEV为例的状态张量形状
bev_state = {
    "occupancy":  (B, T, 1, 200, 200),   # 占用概率
    "velocity":   (B, T, 2, 200, 200),   # vx, vy
    "semantic":   (B, T, 8, 200, 200),   # 语义类别
    "ego_motion": (B, T, 4)              # 自车位姿与速度
}
# 图结构表示的节点与边
graph_state = {
    "nodes": (N, F_node),   # 智能体/车道特征
    "edges": (E, F_edge),   # 相对距离、TTC、车道连接
    "adj":   (N, N)         # 邻接矩阵
}

三、案例/场景：十字路口交互预测

假设自车在无保护左转，对向有直行车，右侧有行人。四种表示会给出不同的建模视角：

时空张量：把过去2秒的BEV特征堆叠为 [T=20, H=200, W=200, C=64]，用时空Transformer同时关注自车、对向车和行人区域，适合端到端训练。
栅格化：输出未来3秒的占用栅格，规划器可直接做碰撞检测；但对向车的意图（让行或抢行）难以从占用中直接读出。
图结构：自车、对向车、行人为节点，边表示TTC与相对方位；GNN能显式推理“对向车是否会让行”，可解释性强。
连续隐空间：编码为 z 后采样多条未来轨迹，能表达多模态不确定性，但隐变量物理含义弱，调试困难。

工程实践常用混合表示：BEV栅格作为骨干特征，图结构用于交互推理，隐空间用于多模态预测头。三者并非互斥。

四、对比清单与选型建议

表示方式	典型结构	优点	缺点	适用场景
时空张量	[T,H,W,C]	规则、批处理高效、保留完整邻域	内存随T/H/W增长快、稀疏场景浪费	端到端感知预测、时空Transformer
栅格化	BEV Grid	几何直观、规划接口友好、易可视化	分辨率与内存矛盾、远距离精度低	占用预测、规划避障、BEV感知
图结构	节点+边	稀疏高效、交互建模强、可解释	图构建依赖检测、动态图训练不稳定	交互预测、轨迹预测、车路协同
连续隐空间	z ∈ R^d	低维紧凑、多模态生成、不确定性建模	物理含义弱、可解释性差、易模式崩溃	生成式预测、世界模型、强化学习

五、误区与复盘

常见误区一：认为栅格化分辨率越高越好。实际中200×200已能覆盖50米范围，盲目提升到800×800会使显存和延迟不可接受，且远距离收益递减。
常见误区二：图结构一定比栅格省算力。当节点数超过数千时，边数呈平方增长，GNN反而比规则卷积更慢。
常见误区三：隐空间表示“不可解释”就放弃使用。可通过解码器可视化、隐变量遍历和注意力归因提升可解释性。
常见误区四：四种表示只能选一种。实际系统常采用“栅格骨干 + 图交互 + 隐空间预测头”的混合架构。

复盘时建议记录三个指标：表示维度与内存占用、预测精度（minADE/minFDE或IoU）、推理延迟。只有把表示方式与下游任务、算力预算、可解释性需求一起权衡，才能选出真正适合驾驶世界模型的时空状态表示。