2. 驾驶场景基础

端到端驾驶时序建模的第一步，不是搭 Transformer，而是把“车看到了什么、在哪里、往哪走”变成可计算的数据。传感器配置决定观测边界，坐标系决定几何一致性，采集与标注决定监督信号质量，驾驶任务定义则决定模型输出头与损失函数。四者共同构成后续时序建模的数据底座。

一、传感器配置：互补而非堆叠

量产车与 Robotaxi 的传感器套件通常由摄像头、激光雷达、毫米波雷达、IMU/GNSS 组成。摄像头提供稠密语义与纹理，但缺乏精确深度；激光雷达提供厘米级三维点云，但受雨雾影响且成本高；毫米波雷达具备穿透性与直接测速能力，但角分辨率低、点云稀疏；IMU/GNSS 提供全局位姿与运动先验，但存在漂移。工程上不是“越多越好”，而是按前向远距、侧向补盲、后向泊车等视场需求做覆盖设计。

以典型 L2+ 配置为例：前视 1 颗 120° 广角加 1 颗 30° 长焦，侧前/侧后各 2 颗，后视 1 颗，共 6V 或 11V；激光雷达 1 颗前向 120° 或车顶 360°；毫米波雷达前向 1 颗长距加 4 颗角雷达。多传感器在时间上必须硬同步或软同步，空间上必须完成外参标定，否则融合结果会出现“重影”与“拖尾”。

二、坐标系：从像素到全局的统一语言

驾驶数据涉及至少五类坐标系：像素坐标系、图像坐标系、相机坐标系、自车坐标系（ISO 8855，x 前、y 左、z 上）、世界坐标系（UTM 或局部 ENU）。标注、预测、规划必须在同一坐标系下表达，否则轨迹会出现系统性偏移。相机内参 K 完成像素到归一化平面的映射，外参 [R|t] 完成相机到自车的刚体变换，自车到世界则依赖定位模块输出的位姿。

时序建模尤其关注自车坐标系随时间的漂移。若直接使用世界坐标，模型需隐式学习定位误差；若使用自车坐标，则需在每一帧做坐标对齐。工程上常采用“当前帧自车坐标系”作为统一表达，历史帧通过位姿变换对齐到当前帧，从而把定位误差转化为可控的局部扰动。

三、数据采集与标注：质量决定上限

采集阶段需关注触发方式、时间戳精度、曝光同步与存储带宽。多相机若采用滚动快门，高速运动下会产生果冻效应，需在标定与训练中补偿。激光雷达与相机的时间戳应对齐到同一时钟源，常用 PTP 或 GPS 秒脉冲。数据回放时，需保留原始时间戳而非采集顺序，否则时序模型会学到错误的帧间间隔。

标注层面，常见类型包括：3D 框标注（位置、尺寸、朝向、类别）、车道线标注（贝塞尔曲线或点序列）、可行驶区域分割、轨迹标注（未来 3~5 秒路径）、属性标注（遮挡、截断、运动状态）。标注一致性依赖标注规范与质检闭环。例如 3D 框的朝向定义若在相机与激光雷达间不统一，融合模型会出现“车头反向”的灾难性错误。

四、常见驾驶任务：从感知到规划的接口

驾驶任务可按输出粒度分为四层：感知层（检测、分割、跟踪）、预测层（轨迹预测、意图识别）、规划层（路径规划、速度规划）、控制层（油门、刹车、转向）。端到端模型试图用统一网络直接映射传感器输入到控制或轨迹输出，但工程落地中仍常保留中间任务作为辅助监督。

时序建模关注的是这些任务在时间轴上的耦合。例如，跟踪任务输出目标 ID 与历史轨迹，预测任务基于历史轨迹推断未来，规划任务再根据预测结果做避让。若各任务独立训练，误差会逐级累积；若联合训练，则需设计多任务损失权重与梯度平衡策略。

五、误区与复盘

• 误区一：只关注传感器数量，忽略视场覆盖与同步精度。结果融合后目标位置抖动，时序模型难以收敛。
• 误区二：坐标系混用。训练用自车坐标，推理用世界坐标，导致轨迹整体偏移。
• 误区三：标注只做单帧，忽略时序一致性。同一目标在相邻帧的 ID 与朝向跳变，跟踪与预测任务失效。
• 复盘建议：建立“采集—标注—训练—回放”一致性检查清单，对时间戳、外参、类别映射、朝向定义做自动化校验。

# 典型数据校验伪代码
assert abs(cam_ts - lidar_ts) < 5ms          # 时间同步
assert extrinsic_cam_to_ego.shape == (4, 4)   # 外参完整
assert label.orientation in [-pi, pi]         # 朝向归一化
assert track.id_consistency(frame_t, frame_t+1) # 时序 ID 一致

只有把传感器、坐标系、采集标注与任务定义四件事对齐，后续的时序 Transformer 才能学到“车在动、世界在变、目标在交互”的真实规律，而不是拟合数据中的系统性偏差。