1. 课程导入

自动驾驶系统的能力上限，很大程度上取决于它见过多少种世界。真实路测能覆盖的场景既昂贵又稀疏：极端天气、罕见事故、施工改道、非规范交通参与者行为，往往难以按需复现。生成式场景世界模型（Generative Scenario World Model）正是为破解这一矛盾而出现的工程范式——它用可学习的模型去“想象”并“推演”驾驶世界，把场景从稀缺的采集资源，变成可批量生产、可参数控制、可反复回放的工程物料。

一、核心定义：什么是生成式场景世界模型

生成式场景世界模型，是指以数据驱动方式学习驾驶环境的时空分布，并能在给定条件（地图、初始状态、行为指令、天气、交通流参数等）下，生成或推演未来多帧、多模态、多视角传感器观测与场景语义演化的模型系统。它同时承担三件事：表征世界（把道路、车辆、行人、信号、天气编码为隐状态）、预测世界（推演未来若干秒的演化）、生成世界（输出图像、点云、语义、轨迹等可被下游使用的数据）。

它与传统仿真器的关键差异在于：规则仿真依赖人工建模的物理与行为逻辑，而世界模型从真实数据中学习分布，能生成规则难以枚举的长尾组合。它也与单纯的数据增强不同——增强通常只做局部扰动，世界模型强调时序一致、几何一致、多传感器一致的整段场景演化。

二、发展脉络：从规则仿真到生成式世界模型

第一阶段是规则仿真：以交通流模型和物理引擎为核心，场景由人工配置，优点是可控可复现，缺点是长尾覆盖差、视觉真实度低。第二阶段是数据回放与日志仿真：直接回放真实路测数据，真实度高，但无法交互、无法改变未来。第三阶段是神经渲染与场景重建：用NeRF、3D高斯等重建静态或动态场景，能新视角合成，但交互推演能力有限。第四阶段即当前热点——生成式世界模型：以扩散模型、自回归Transformer、视频生成模型为骨干，联合建模场景几何、语义与传感器观测，支持条件控制与长时推演。

推动这一演进的有三条技术线：生成模型（扩散、自回归、流匹配）提供生成能力；自动驾驶数据规模与标注体系提供学习素材；闭环仿真与端到端评测需求提供工程牵引。三者交汇，使世界模型从论文概念走向工程流水线。

三、工程价值：为什么它值得投入

• 长尾场景按需生产：把“等一个罕见事故”变成“生成一千个变体”，显著提升极端场景覆盖率。
• 降低采集与标注成本：生成数据自带语义与轨迹标签，减少人工标注开销。
• 支持闭环交互评测：被测模型的行为会改变场景演化，比固定回放更接近真实博弈。
• 加速端到端模型迭代：为端到端模型提供大规模、可控、可复现的训练与回归数据。
• 提升安全论证能力：可对特定失效模式定向生成测试集，形成可追溯的安全证据链。

四、典型场景与最小工作流

以“无保护左转遇对向直行”为例：输入地图与初始状态，设定对向车流密度与行为激进程度，世界模型推演未来5秒的多视角观测与轨迹，输出带标注的场景片段，供规划模型做闭环回归。其最小工作流可概括为：

场景定义 → 条件编码 → 世界模型推演 → 多模态输出
        → 一致性校验 → 下游训练/评测 → 失效反馈 → 定向再生成

下表给出传统仿真、数据回放与生成式世界模型的能力对比，便于建立选型直觉：

维度	规则仿真	数据回放	生成式世界模型
视觉真实度	低	高	高
交互推演	强	无	强
长尾覆盖	弱	受限于日志	强
可控性	强	弱	中到强
标注成本	低	高	低（自带标签）
工程成熟度	高	高	快速上升

五、常见误区与复盘要点

复盘时应重点回答三个问题：生成的场景是否改变了被测模型的决策？失效是否可归因到具体场景参数？下一轮生成是否针对性地补上了覆盖缺口？只有形成“生成—评测—反馈—再生成”的闭环，世界模型才真正具备工程价值。

六、学习目标与整体课程框架

本课程的目标是让学习者具备从原理到落地的完整能力：理解世界模型的建模范式，掌握数据、训练、推理、评测的关键工程环节，并能设计面向自动驾驶的场景生成流水线。整体框架分为五个板块：

1. 基础与定义：世界模型概念、发展脉络、与仿真/重建/生成的关系。
2. 数据与表征：多传感器数据组织、场景参数化、地图与语义表征、数据集构建。
3. 模型与训练：扩散、自回归、视频生成骨干，条件控制、时序建模、多模态对齐。
4. 工程与部署：训练流水线、推理加速、一致性校验、场景库管理与版本化。
5. 评测与闭环：覆盖度指标、闭环仿真、失效归因、安全论证与持续迭代。

自动驾驶的竞争，正在从“谁跑得多”转向“谁见得广、见得准、见得可复现”。生成式场景世界模型，就是把“见得多”变成可工程化生产的基础设施。接下来的章节，将沿着数据、模型、工程、评测四条主线，逐步展开这套基础设施的构建方法。