1. 课程导入

在自动驾驶、服务机器人、智能交通与人群仿真等系统中,一个共同的核心难题是:如何让机器理解并预判周围运动主体接下来会怎么走。行人、车辆、骑行者并不是孤立运动的个体,它们会相互观察、让行、抢行、结伴或避让。与此同时,同一个主体在不同意图下可能走出多条合理路径。交互式行为与多模态轨迹预测,正是研究"多个智能体相互影响时,未来轨迹存在多种可能"这一问题的工程学科。

一句话定义:交互式行为与多模态轨迹预测,是在给定历史观测、场景地图与主体间相互关系的条件下,同时建模"主体之间如何相互影响"与"未来可能出现的多种运动模式",并输出带概率的多条未来轨迹及其行为意图的技术体系。

一、核心原理:为什么必须同时处理"交互"与"多模态"

传统轨迹预测常被当作单智能体时序外推问题:输入某目标的历史坐标,输出一条未来轨迹。这种做法在稀疏场景尚可,但在真实道路与人群中会迅速失效,原因有两个。

  • 交互性:目标的行为取决于邻居。前车减速会引发后车制动,行人靠近斑马线会触发车辆让行。忽略交互,等于假设世界只有一个人。
  • 多模态性:未来本质上是概率分布而非单点。路口车辆可能直行、左转或右转,行人可能在路口等待或横穿。只输出一条轨迹,会把不确定性伪装成确定性。

因此,现代方法通常把问题拆成三个耦合环节:场景编码(地图、历史、邻居)、交互建模(谁影响谁、影响多强)、多模态解码(生成 K 条候选轨迹并给出概率)。三者关系可用下图表示。

交互式多模态轨迹预测的核心数据流 历史观测 位置 / 速度 / 朝向 场景地图 车道 / 人行道 / 路口 邻居主体 车 / 人 / 骑行者 行为意图先验 让行 / 抢行 / 跟随 场景编码与交互建模 图注意力 / 社会池化 / Transformer 关系编码 → 融合上下文特征 多模态解码器 生成 K 条候选轨迹 + 概率 + 行为意图标签 轨迹 A · p=0.55 轨迹 B · p=0.30 轨迹 C · p=0.15

二、发展历程:从单模态外推到交互式多模态

轨迹预测的演进大致经历四个阶段,每一阶段都在补上一阶段的短板。

阶段代表思路关键局限
物理外推卡尔曼滤波、恒速/恒加速模型无法处理交互与意图,长时预测漂移严重
序列学习LSTM/GRU 编码历史轨迹单模态输出,忽略邻居影响
交互建模Social Pooling、图神经网络、注意力机制多模态能力弱,易模式坍缩
多模态生成多锚点回归、CVAE、扩散模型、Transformer需平衡多样性、精度与实时性

可以看到,行业趋势是从"预测一条最可能的轨迹"转向"给出多条带概率的合理未来",并显式建模主体之间的相互影响。

三、典型应用场景

  • 自动驾驶:预测行人、车辆、骑行者未来数秒轨迹,为规划模块提供风险边界与让行决策依据。
  • 服务机器人:在商场、医院、餐厅中预测人群走向,实现安全避让与自然通行。
  • 智能交通:路口流量推演、信号配时优化、拥堵传播分析。
  • 人群仿真与数字孪生:生成符合社会规范的多主体运动,用于应急疏散与场景测试。
工程提示:不同场景对预测的偏好不同。自动驾驶更看重"不漏掉危险模式"(高召回),人群仿真更看重"整体分布自然"(分布相似度),评估指标需与业务目标对齐。

四、常见误区与复盘

初学者容易踩以下坑,值得在课程开始前建立正确认知。

  1. 把预测当成单点回归:只优化平均位移误差,会得到"平均化"的轨迹,既不像直行也不像转弯。
  2. 忽略交互方向性:影响是不对称的,前车对后车的影响远大于反向,建模时需区分。
  3. 模式坍缩:多模态模型常退化为只输出一条轨迹,需要多样性损失或锚点机制约束。
  4. 评估只看 ADE/FDE:多模态预测还需看 minADE、minFDE、Miss Rate 与概率校准。
# 多模态预测常用评估指标(示意)
minADE_K  = min over K 条轨迹的平均位移误差
minFDE_K  = min over K 条轨迹的终点位移误差
MissRate  = 所有 K 条轨迹均偏离真值超过阈值的比例
NLL       = 负对数似然,衡量概率分配是否合理

五、整体课程框架

本课程共 30 章,围绕"数据—建模—训练—评估—部署"主线展开,可划分为五个模块。

  • 基础与数据:问题定义、数据集(Argoverse、nuScenes、INTERACTION)、坐标与特征工程。
  • 交互建模:社会池化、图神经网络、注意力与 Transformer 关系编码。
  • 多模态生成:多锚点回归、CVAE、GAN、扩散模型与概率校准。
  • 训练与评估:损失设计、模式多样性、指标解读与消融实验。
  • 工程落地:实时推理优化、部署约束、闭环测试与安全边界。
学习建议:本课程强调"可运行、可复现"。每章都会给出关键公式、代码片段与评估方法,建议边学边在公开数据集上动手验证,避免只停留在概念层面。