3. 数据集概览

轨迹预测模型的性能上限,很大程度上由训练与评测所用的数据集决定。不同数据集在场景类型、采集平台、标注方式与交互复杂度上差异巨大,直接决定了模型学到的是“行人避让习惯”还是“车辆换道博弈”。本节从行人、车辆、多智能体三个维度梳理主流数据集,并给出规模、平台、标注与典型特点的对照,帮助你在选型与评测时快速定位合适的数据基础。

一、核心分类原理:按智能体类型与场景划分

轨迹预测数据集最本质的分类维度是被预测智能体的类型,其次是采集视角与交互密度。行人数据集关注密集人群中的社会力交互,车辆数据集关注道路拓扑与交通规则约束,多智能体数据集则同时包含行人、车辆、自行车等异构主体,强调跨类别交互。采集视角又分为俯视(无人机、固定摄像头)与车载(自车传感器),前者提供全局真值,后者更贴近实际部署但存在遮挡与视角盲区。

选型三问:预测对象是谁?场景是俯视全局还是车载第一视角?交互密度是稀疏还是密集?这三个问题的答案基本决定数据集归属。

二、主流数据集对照与可视化

下图按“行人—车辆—多智能体”三类,展示各数据集的采集平台、标注方式与核心特点,节点大小反映相对规模量级。

主流轨迹预测数据集分类图谱 行人数据集 俯视 / 固定摄像头 ETH / UCY 固定摄像头 · 人工标注 约 1500 条轨迹 · 经典基准 TrajNet++ ETH/UCY 扩展 · 统一格式 含合成数据 · 交互密集 JRDB 移动机器人平台 · 3D 标注 含社交群体 · 真实校园 OpenTraj 多源聚合 · 统一接口 便于跨数据集评测 车辆数据集 车载 / 路侧 / 无人机 NGSIM 高速摄像头 · 人工标注 换道博弈经典 · 噪声较大 highD / inD 无人机俯拍 · 自动标注 精度高 · 德国道路场景 Argoverse 2 自车传感器 · 高精地图 25 万场景 · 多模态 nuScenes 多传感器 · 1000 场景 含雷达/激光雷达 · 3D 框 多智能体数据集 异构主体 · 跨类别交互 Argoverse 2 车辆+行人+自行车 多智能体联合预测 Waymo Open 自车+激光雷达 · 高精度 10 万+ 场景 · 交互丰富 INTERACTION 无人机+路侧 · 全球场景 环岛/汇入 · 博弈密集 TRAF 无人机俯拍 · 自动标注 含行人/车辆/骑行者

三、规模、采集平台与标注方式对照

下表汇总各数据集的关键工程参数,便于在实验设计时快速比对。规模量级以轨迹条数或场景数为参考,标注方式直接影响数据噪声水平与预处理成本。

数据集 类别 采集平台 标注方式 规模量级 典型特点
ETH / UCY行人固定摄像头人工标注约 1500 条经典基准,场景小但交互真实
TrajNet++行人多源聚合统一转换数万条格式统一,含合成增强
JRDB行人移动机器人3D 框+轨迹数十万帧含社交群体,真实校园
NGSIM车辆高速摄像头人工标注约 1 万条换道博弈经典,噪声较大
highD / inD车辆无人机自动标注10 万+ 车辆精度高,德国道路
Argoverse 2多智能体自车传感器自动+人工25 万场景高精地图,多模态
nuScenes多智能体多传感器3D 框标注1000 场景含雷达/激光雷达
Waymo Open多智能体自车+激光雷达自动+人工10 万+ 场景高精度,交互丰富
INTERACTION多智能体无人机+路侧自动标注数万场景环岛/汇入,博弈密集

四、案例场景:从数据到评测的链路

以车辆换道预测为例,若选用 NGSIM,需先做平滑滤波去除人工标注抖动,再按 8:1:1 划分训练/验证/测试;若选用 highD,则自动标注精度更高,可直接进入特征工程。多智能体场景下,Argoverse 2 提供高精地图与多模态轨迹,适合训练图神经网络或 Transformer 类交互模型。行人场景中,ETH/UCY 常作为跨数据集泛化测试的“留出集”,检验模型是否过拟合特定场景。

# 典型数据加载与划分伪代码
dataset = load_dataset("eth_ucy", scene="hotel")
trajs = dataset.trajectories          # [N, T, 2]
split = train_val_test(trajs, ratio=[0.8, 0.1, 0.1])
# 多智能体需额外加载地图与类别标签
map_data = load_hd_map("argoverse2", scene_id)
agents = load_agents(scene_id)        # 含车辆/行人/自行车

五、常见误区与复盘

误区一:把 NGSIM 当作高精度真值。NGSIM 人工标注存在位置抖动与速度噪声,直接训练易学到标注伪影,建议先做 Savitzky-Golay 滤波。

误区二:跨数据集直接比较 ADE/FDE。不同数据集采样率、预测时域、场景难度差异大,指标不可直接横向对比,需在统一 Benchmark 协议下评测。

误区三:忽视多智能体类别不平衡。车辆数据集中行人样本极少,模型可能忽略行人交互,需做重采样或类别加权。

复盘建议:建立“数据集卡片”,记录采集平台、标注方式、采样率、预测时域、场景分布与已知噪声,作为实验可复现性的基础。选型时优先匹配部署场景的视角与智能体类型,而非盲目追求规模。

综上,行人、车辆、多智能体三类数据集各有侧重:行人数据强调社会交互,车辆数据强调规则与博弈,多智能体数据强调异构协同。理解其采集平台与标注方式带来的噪声特性,是后续预处理、模型设计与 Benchmark 评测的前提。