1. 课程导入
在自动驾驶、移动机器人与具身智能系统中,感知模块不仅要回答“现在周围有什么”,还要回答“接下来几秒它们会到哪里”。传统目标检测给出的是离散的边界框,语义分割给出的是逐像素类别,而占用栅格(Occupancy Grid)则把三维空间离散成体素,用“被占据 / 空闲 / 未知”三态描述环境。它天然兼容任意形状的障碍物,也便于规划模块直接做碰撞检测。但静态占用图只描述当前时刻,无法支撑高速场景下的避让决策。
动态占用预测(Dynamic Occupancy Prediction)要解决的正是这个问题:给定历史若干帧的传感器观测(激光雷达点云、多视角相机图像或两者融合),预测未来一段时间内三维空间中每个体素的占用状态及其随时间的变化。它的输出不是“某个目标会往哪走”,而是“整个空间在时间轴上如何被填充与释放”。这种表示对遮挡、截断、异形物体、多智能体交互都更鲁棒。
Occupancy Flow 的核心思想:把未来占用预测建模为“占用场 + 流场”的联合学习。占用场回答“某时刻某体素是否被占据”,流场回答“该体素中的内容下一刻流向哪里”。二者结合,使预测不再是逐帧独立分类,而是沿着运动流做时空传播(temporal propagation),从而在保持几何细节的同时获得连续、平滑、物理一致的未来演化。
一、为什么需要 Occupancy Flow
纯占用预测模型(如逐帧 3D 语义占用分割)存在两个典型问题:一是未来帧之间缺乏运动约束,容易出现“闪烁”或“凭空出现/消失”;二是对快速运动物体,体素级分类难以捕捉位移,导致预测模糊。Occupancy Flow 引入流向量后,相当于给每个被占据体素附加了一个速度方向,使模型可以显式建模“谁在动、往哪动、动多快”。
从数学上看,若记 o_t(x) 为 t 时刻体素 x 的占用概率,f_t(x) 为该体素处的流向量,则下一时刻的占用可由流场近似传播得到:
o_{t+1}(x + f_t(x)) ≈ o_t(x)
f_t(x) = (Δx, Δy, Δz) # 体素在 3D 空间中的位移向量
训练时通常联合监督占用分类损失与流回归损失,并可用光度一致性或循环一致性作为自监督约束。推理时,模型一次性输出未来 T 个时刻的占用与流,规划模块即可在时空体素中搜索无碰撞轨迹。
二、整体知识框架
本课程围绕“数据—模型—训练—部署—评测”五段式展开,共 30 章。下图给出知识框架与实战项目的整体关系:左侧是输入与数据基础,中部是 Occupancy Flow 模型的核心模块,右侧是工程落地与评测闭环。
三、课程学习目标
完成本课程后,你应当能够独立完成以下任务:
- 理解占用栅格、语义占用、Occupancy Flow 三者的区别与联系,能说清各自适用边界;
- 掌握从原始传感器数据到体素真值的完整数据管线,包括标定、时序对齐与体素化;
- 能够搭建并训练一个具备时序融合与流预测能力的 Occupancy Flow 网络;
- 掌握占用预测的评测指标与常见失效模式,能定位“拖影、闪烁、流发散”等问题;
- 能够将模型导出并部署到车载推理环境,满足实时性与精度平衡。
四、实战项目概览与常见误区
课程实战项目以“城市道路多智能体未来占用预测”为主线:输入 2 秒历史观测,输出未来 3 秒、每 0.5 秒一帧的占用与流。项目分为数据准备、基线模型、Occupancy Flow 增强、部署评测四个阶段,每阶段都有可运行的代码与检查清单。
| 阶段 | 核心任务 | 关键产出 | 常见误区 |
|---|---|---|---|
| 数据准备 | 标定对齐、体素化、真值生成 | 时序体素数据集 | 忽略时间戳对齐,导致流真值错位 |
| 基线模型 | BEV 骨干 + 占用头 | 逐帧占用预测基线 | 只做单帧监督,未来帧无运动约束 |
| Flow 增强 | 加入流头与时空传播 | 占用 + 流联合输出 | 流回归权重过大,占用精度下降 |
| 部署评测 | 量化、导出、延迟测试 | 实时推理管线 | 只看离线指标,忽略端到端延迟 |
新手最容易踩的坑:把 Occupancy Flow 当成“目标检测 + 轨迹预测”的替代品。实际上它预测的是空间占用概率场,不输出实例 ID,也不直接给出目标级轨迹。若下游需要实例级信息,还需额外的聚类或关联模块。理解这一点,才能正确设计损失函数与评测方式。
学习建议:每章先跑通代码,再回头理解公式。Occupancy Flow 的很多设计选择(流场分辨率、传播步长、时序融合方式)都来自工程权衡,脱离实验很难体会。建议准备一块 GPU 和一份 nuScenes mini 数据集,边学边验证。
本章作为导入,已经勾勒出动态占用预测的问题定义、Occupancy Flow 的核心思想、课程知识框架与实战项目全貌。接下来将从数据表示与体素化基础开始,逐步深入到模型设计、训练技巧与部署优化,最终形成一套可落地的动态占用预测工程能力。