📚 课程目录第4章评测数据集与场景

4. 评测数据集与场景

定位评测的可信度，首先取决于评测数据是否覆盖了真实运行中会遇到的场景。同一套定位算法，在城市峡谷、长隧道、地下车库、高速匝道、林荫道路上的表现可能相差一个数量级。因此，评测数据集不是“随便跑几段路”的素材集合，而是围绕定位误差来源精心设计的场景样本库。本章从公开数据集、自采数据、场景分类以及典型道路与环境条件四个角度，说明它们如何共同决定定位评测的结论是否可靠。

一、核心原理：场景是定位误差的“放大器”

定位系统通常融合GNSS、IMU、轮速计、激光雷达、视觉等多源信息。不同场景对各类传感器的“打击方式”不同：城市峡谷遮挡卫星信号，导致GNSS多径与失锁；长隧道使GNSS完全失效，只能依赖IMU和轮速计递推；地下车库没有卫星也没有清晰视觉纹理，激光雷达成为主要依靠；高速路段车辆运动快、转弯少，对横向定位精度要求高；林荫道路则同时存在卫星遮挡和视觉特征退化。评测数据集的价值，就在于把这些误差放大条件显式地组织起来，让算法在受控、可复现的条件下暴露短板。

场景分类的本质，是把“环境条件—传感器可用性—误差模式”三者建立映射。评测时若只统计整体平均误差，很容易被大量简单场景稀释，掩盖少数困难场景中的严重失效。

二、公开数据集与自采数据的定位

公开数据集适合做算法横向对比和基线复现，常见的有KITTI、nuScenes、ApolloScape、Waymo Open Dataset等。它们提供标定后的多传感器数据、真值轨迹和评测脚本，优点是可比性强、社区认可度高；缺点是采集城市、道路类型、天气条件相对固定，未必覆盖本地项目的实际运行环境。自采数据则相反，它贴合自身传感器配置、安装位置、车辆动力学和运营区域，但需要自行解决真值获取、时间同步、标定和场景标注问题。

维度	公开数据集	自采数据
典型代表	KITTI、nuScenes、Waymo Open	项目车队、测试场、运营线路采集
优势	可比性强、真值规范、复现成本低	贴合实际配置、场景可控、可迭代
局限	场景固定、传感器配置可能不匹配	真值成本高、标注与同步难度大
适用阶段	算法选型、基线对比、论文复现	版本回归、验收测试、问题定位
关键风险	过拟合公开场景，忽略本地长尾	场景分布偏斜，缺少困难样本

实践中推荐“公开数据集打底、自采数据补长尾”的组合策略：用公开数据集验证算法基本正确性和横向竞争力，用自采数据覆盖本地高频与高风险场景，并在回归测试中固定一组自采场景作为“守门集”。

三、场景分类方法

场景分类没有唯一标准，但应围绕定位评测目标设计。常见维度包括：道路类型（高速、城市主干道、次干道、匝道、隧道、地下车库、园区道路）、环境特征（城市峡谷、林荫、开阔、桥梁、隧道口）、天气与光照（晴天、雨天、雪天、夜间、逆光）、交通状态（畅通、拥堵、频繁变道）、传感器可用性（GNSS良好/遮挡/失锁、视觉纹理丰富/退化）。分类后应给出每类的样本量、时长和里程占比，避免“困难场景只有几十秒”却得出全局结论。

场景清单示例（YAML 片段）
scenes:
  - id: urban_canyon_01
    road: urban_arterial
    env: canyon
    weather: sunny
    gnss: multipath
    duration_s: 420
    distance_km: 3.1
  - id: tunnel_long_02
    road: tunnel
    env: enclosed
    weather: n/a
    gnss: denied
    duration_s: 180
    distance_km: 2.4
  - id: underground_park_03
    road: parking
    env: indoor
    weather: n/a
    gnss: denied
    duration_s: 150
    distance_km: 0.6

四、典型道路与环境条件对定位评测的影响

不同道路与环境条件会改变误差的统计特性，评测指标也应随之调整。城市峡谷中，GNSS水平误差可能突增到数米甚至十几米，此时应重点关注最大误差和失锁恢复时间；隧道中，GNSS完全不可用，评测重点转为IMU/轮速计递推的漂移率和出隧道后的重收敛速度；地下车库中，激光雷达和视觉的几何退化会导致横向漂移，应关注与柱、墙等结构的相对定位一致性；高速路段则更关注纵向里程误差和横向车道级精度。若忽略这些差异，用同一套阈值评判所有场景，就会得出误导性结论。

五、案例与场景：一次隧道回归暴露的问题

某项目在公开数据集上横向误差稳定在0.3米以内，但自采隧道场景回归时发现：进入隧道后约40秒，横向误差逐渐增大，出隧道后需要约12秒才重新收敛。复盘发现，评测集此前几乎没有长隧道样本，IMU零偏标定也未在高温环境下验证。补充隧道场景后，团队调整了IMU零偏估计策略，并把“隧道递推漂移率”和“出隧道重收敛时间”加入回归指标。这个案例说明：数据集场景分布决定了评测能发现什么问题，而不是算法本身是否“看起来不错”。

常见误区：只统计全局平均误差、只采晴天畅通路段、把公开数据集结果直接当作本地验收结论、困难场景样本量过少却参与全局平均。这些做法都会让评测失去区分度。

六、复盘与建议

建立场景分类清单，明确每类场景的里程、时长和占比，避免长尾被稀释。
公开数据集用于基线对比，自采数据用于本地回归，两者不可互相替代。
按场景分层统计指标，至少包含均值、95分位、最大误差和失锁恢复时间。
把困难场景固定为“守门集”，每次版本回归必须通过，防止性能回退。
记录采集时的天气、光照、交通和传感器状态，保证评测可追溯、可复现。

只有让评测数据集真实反映运行环境中的道路类型、环境条件和传感器可用性，定位评测才能从“跑通”走向“可信”，并为后续的回归工程提供稳定、可比较的基准。