📚 课程目录第4章数据采集基础

4. 数据采集基础

模仿学习的数据质量，首先取决于采集系统能否把“人怎么开”这件事完整、准确地记录下来。自动驾驶采集不是简单地把几个传感器装到车上，而是要让摄像头、激光雷达、毫米波雷达、IMU 和 GPS 在同一时间基准下协同工作，并把每个传感器坐标系统一到车体坐标系中。只有做到“看得全、对得齐、标得准”，后续的行为克隆、轨迹预测和端到端模型才有可靠输入。

一、核心传感器类型与数据特性

不同传感器在模仿学习中的角色不同：摄像头提供语义和纹理，激光雷达提供精确三维几何，毫米波雷达提供距离与速度，IMU 提供高频运动状态，GPS 提供全局位置。它们不是互相替代，而是互补。

传感器	典型输出	频率	在模仿学习中的作用	主要局限
摄像头	RGB 图像/视频流	10–60 Hz	车道线、交通灯、行人、可行驶区域语义	受光照、雨雾影响，缺少直接深度
激光雷达	三维点云	10–20 Hz	障碍物三维位置、可行驶空间、轨迹监督	成本较高，雨雪天气点云噪声增大
毫米波雷达	目标距离、速度、角度	20–100 Hz	远距离目标检测、相对速度估计	角分辨率较低，静态目标易受杂波干扰
IMU	加速度、角速度	100–1000 Hz	高频运动状态、短时位姿递推	存在零偏和积分漂移
GPS/RTK	经纬度、高程、速度	1–20 Hz	全局轨迹、地图匹配、绝对位置参考	城市峡谷、隧道中信号易丢失

在模仿学习数据集中，摄像头图像通常作为策略网络的观测输入，激光雷达点云用于生成 BEV 特征或三维目标框，毫米波雷达补充远距离动态目标，IMU 和 GPS 则用于恢复自车轨迹、计算加速度和转向曲率。若缺少 IMU/GPS，模型很难学到平滑的纵向控制；若缺少激光雷达，三维空间监督会明显变弱。

二、采集平台的基本组成

典型采集平台由传感器套件、计算与存储单元、供电与网络、时间同步模块和标定工装组成。传感器安装位置直接影响视野和标定难度：前视摄像头通常位于挡风玻璃后方，激光雷达位于车顶，毫米波雷达位于前保险杠和角雷达位置，IMU 尽量靠近车辆质心，GPS 天线布置在车顶无遮挡处。

采集平台需要解决三个工程问题：第一，数据带宽。多路摄像头加激光雷达会产生数 GB/s 的原始数据，必须就近压缩或使用高速固态存储。第二，供电与散热。长时间路采时，计算单元和激光雷达功耗较高，需要稳定供电和主动散热。第三，机械刚性。传感器支架必须有足够刚度，否则车辆振动会导致外参变化，使标定结果失效。

采集平台设计时，应优先保证传感器刚性安装和可重复拆装。若每次采集后外参都变化，后续融合和模仿学习标签会出现系统性偏差。

三、时间同步：让多传感器“说同一时刻的话”

时间同步是数据采集中最容易被低估、却最影响模仿学习效果的一环。摄像头曝光、激光雷达旋转、毫米波雷达扫频、IMU 采样和 GPS 秒脉冲各有自己的时钟。如果直接按接收时间拼接，车辆高速行驶时几毫秒误差就会带来几十厘米的位置偏差。

常见做法是使用 GPS 的 PPS 秒脉冲和 PTP/gPTP 协议，把各传感器时钟统一到同一主时钟。硬件触发用于摄像头和激光雷达，软件时间戳用于 IMU 和雷达，最后通过插值对齐到统一时间栅格。下面是一个时间对齐配置示例：

# 时间同步配置示例
sync_master: gps_pps
protocol: gptp
camera_trigger: hardware
lidar_trigger: hardware
imu_rate: 200Hz
gps_rate: 10Hz
align_grid: 50Hz
max_offset_ms: 5
interpolation: linear

对齐后还要做时间戳校验：检查同一目标在摄像头和激光雷达中的位置是否一致，检查 IMU 积分轨迹与 GPS 轨迹是否闭合。若发现固定延迟，应在数据入库前做补偿，而不是留给模型去“猜”。

四、标定：把不同坐标系统一到车体

标定分为内参标定和外参标定。内参标定解决摄像头焦距、主点、畸变系数，以及激光雷达内部角度偏移；外参标定解决各传感器相对车体坐标系的旋转和平移。模仿学习中的轨迹标签、障碍物标签和 BEV 特征都依赖外参精度。

外参标定通常先使用标定场、棋盘格、反光靶标进行离线标定，再在行驶过程中用道路特征做在线校验。标定结果应记录为可版本化文件，并与采集日志绑定。若车辆维修、更换传感器或发生碰撞，必须重新标定。

# 外参文件示例（传感器到车体）
camera_front:
  translation: [1.52, 0.00, 1.35]
  rotation_quat: [0.0, 0.0, 0.0, 1.0]
lidar_top:
  translation: [0.20, 0.00, 1.90]
  rotation_quat: [0.0, 0.0, 0.0, 1.0]
imu_center:
  translation: [0.00, 0.00, 0.45]
  rotation_quat: [0.0, 0.0, 0.0, 1.0]

常见误区：只做一次标定就长期使用；用接收时间代替传感器曝光时间；忽略 IMU 与 GPS 的杆臂补偿；标定文件与数据版本不对应。这些问题在回放时可能不明显，但会直接污染模仿学习的监督信号。

五、典型采集流程与复盘要点

一次完整的采集流程可以概括为：检查传感器状态、确认时间同步、验证标定文件、启动录制、监控丢帧与延迟、结束采集、校验数据完整性、入库并生成元数据。复盘时应重点检查各传感器时间偏移、点云与图像对齐效果、GPS 轨迹闭合误差、IMU 零偏变化，以及是否存在长时间丢帧。

从工程实践看，采集系统最值得投入的不是增加更多传感器，而是把已有传感器的时间同步和标定做扎实。模仿学习对“状态—动作”对应关系非常敏感，时间错位和坐标错位会直接表现为策略抖动、轨迹偏移和难以收敛。把采集基础打牢，后续的数据清洗、标注和模型训练才有稳定起点。