4. 经典数据集详解
轨迹预测模型的性能差异，往往并不来自网络结构本身，而是来自训练与评测所用的数据集。不同数据集在采集平台、坐标系、采样频率、场景语义和评测协议上存在显著差异。理解这些差异，是构建可复现 Benchmark 的第一步。本节围绕五个最具代表性的数据集，梳理其数据格式、场景分布与使用方式。
一、核心原理：数据集是“场景假设”的载体
每个轨迹数据集都隐含了一组场景假设：ETH/UCY 假设行人交互主导，SDD 假设校园人车混行，Argoverse 强调高精地图与车道拓扑，nuScenes 强调多传感器融合，Waymo Open Motion Dataset（WOMD）强调大规模、多智能体与交互密集。数据格式决定了模型输入张量的组织方式，场景分布决定了模型的泛化边界，使用方式则决定了评测是否公平。
二、五大经典数据集对比
| 数据集 | 采集平台 | 主要对象 | 采样频率 | 典型预测时域 | 核心特点 |
|---|---|---|---|---|---|
| ETH/UCY | 固定摄像头 | 行人 | 2.5 Hz / 25 Hz | 8s 观测 + 12s 预测 | 小规模、交互密集、leave-one-out 协议 |
| SDD | 无人机俯拍 | 行人 + 车辆 | 30 Hz | 8s 观测 + 12s 预测 | 校园混行、含车道与交叉口语义 |
| Argoverse | 自动驾驶车队 | 车辆 + 行人 | 10 Hz | 2s 观测 + 3s 预测 | 高精地图、车道中心线、矢量地图 |
| nuScenes | 自动驾驶车队 | 车辆 + 行人 + 自行车 | 2 Hz（关键帧） | 2s 观测 + 6s 预测 | 相机/激光雷达/毫米波多模态 |
| WOMD | 自动驾驶车队 | 多类交通参与者 | 10 Hz | 1s 观测 + 8s 预测 | 大规模、交互密集、多智能体联合预测 |
三、数据格式与使用方式
ETH/UCY 以文本文件存储，每行格式为 frame_id, agent_id, x, y，坐标单位为米，通常需要按帧号重采样到统一频率。SDD 提供 .txt 与 .mat 两种格式，包含 track_id, frame, x, y，并附带场景标注文件。Argoverse 使用 .csv 存储轨迹，配合 map.json 描述车道与路口拓扑。nuScenes 采用 .json 元数据加 .pcd 点云，轨迹以 sample_annotation 形式组织。WOMD 使用 Scenario protobuf 或 TFRecord，每个场景包含多个智能体的状态序列与地图特征。
# ETH/UCY 单文件示例（obsmat.txt）
1 1 3.20 4.50
2 1 3.25 4.55
3 1 3.31 4.61
# 列含义：frame_id, agent_id, x(m), y(m)
# Argoverse 轨迹片段（track.csv）
TIMESTAMP,TRACK_ID,OBJECT_TYPE,X,Y
0,0,AGENT,10.2,20.1
100,0,AGENT,10.5,20.4
200,0,AGENT,10.9,20.8使用方式上，ETH/UCY 常采用 leave-one-out：在四个场景上训练，在剩余一个场景上测试，以检验跨场景泛化。SDD 通常按场景划分训练/验证/测试，并强调混行交互。Argoverse 提供官方 argoverse-api，可直接加载地图与轨迹。nuScenes 提供 nuscenes-devkit，支持多模态对齐。WOMD 提供 waymo-open-dataset 工具包，支持场景解析与指标计算。
四、场景分布与评测协议
ETH/UCY 场景规模小，行人密度高，适合验证交互建模能力，但缺乏车辆与地图信息。SDD 覆盖校园道路、停车场与交叉口，人车混行明显，适合验证异构智能体预测。Argoverse 场景以城市道路为主，车道拓扑清晰，适合验证地图编码与多模态预测。nuScenes 场景覆盖城市、郊区与雨天，适合验证多传感器融合与鲁棒性。WOMD 场景数量大、交互密集，适合验证大规模联合预测与可扩展性。
五、案例：从 ETH/UCY 迁移到 Argoverse 的常见问题
某团队在 ETH/UCY 上训练的行人预测模型，直接迁移到 Argoverse 车辆预测时性能骤降。原因有三：一是坐标系不同，ETH/UCY 为图像平面坐标，Argoverse 为世界坐标；二是采样频率不同，ETH/UCY 为 2.5 Hz，Argoverse 为 10 Hz，需重采样；三是输入模态不同，Argoverse 需要地图编码，而原模型仅使用轨迹。修正方式是统一重采样到 10 Hz，加入车道中心线编码，并重新定义预测时域。
六、误区与复盘
- 误区一：直接比较不同数据集的 ADE/FDE。不同数据集时域、频率、对象不同，数值不可直接对比。
- 误区二：忽略坐标系与单位。ETH/UCY 与 Argoverse 的坐标定义不同，需统一到米制世界坐标。
- 误区三：忽略场景划分。随机划分会导致同一场景的轨迹泄漏到训练与测试集，虚高指标。
- 误区四：忽略地图信息。Argoverse、nuScenes、WOMD 均提供地图，忽略地图会显著降低预测精度。
(obs_len, pred_len, agent_num, feat_dim) 张量格式，并记录坐标系、频率、单位与场景划分，确保 Benchmark 可复现。综上，ETH/UCY 与 SDD 适合行人交互研究，Argoverse 与 nuScenes 适合自动驾驶多模态预测，WOMD 适合大规模联合预测。掌握各数据集的数据格式、场景分布与使用方式，才能在 Benchmark 评测中做出公平、可复现的结论。