3. 多模态数据基础

自动驾驶系统同时“看、听、测、读”，图像、激光点云、毫米波雷达张量、文本指令、语音命令与CAN总线信号共同构成感知与决策的输入。多模态表示学习的第一步不是模型结构，而是把不同物理量、不同采样率、不同坐标定义的数据整理成可对齐、可融合、可复现的统一表示。本章围绕数据格式、坐标系、时间同步与标定四个基础问题展开。

一、核心原理：模态差异的本质

不同模态的差异体现在三个维度：物理量（光子强度、飞行时间、电磁回波、字符、声波、总线报文）、采样结构（稠密网格、稀疏点集、距离-多普勒-角度张量、离散序列、周期信号）和时间基准（帧触发、扫描周期、事件触发）。多模态表示学习要做的，是把这些异构数据映射到共享的时空参考系中。

• 图像：H×W×C 张量，像素坐标 (u,v)，单位为像素，需通过内参 K 与外参 [R|t] 投影到车体坐标。
• 点云：N×3 或 N×4 的稀疏点集，坐标 (x,y,z) 单位米，常带 intensity、ring、timestamp 等属性。
• 雷达张量：距离-多普勒-天线通道三维数据，含 RCS、速度、角度信息，对金属目标敏感。
• 文本：导航指令、场景描述、V2X 消息，以 token 序列表示，需与时间戳绑定。
• 语音：16kHz 波形或梅尔频谱，用于人机交互与指令理解。
• CAN总线：车速、转向角、制动、挡位等周期报文，是自车状态的真值来源。

二、坐标系体系与转换链

自动驾驶常用坐标系包括：像素坐标系、相机坐标系、激光雷达坐标系、雷达坐标系、车体坐标系（ISO 8855，x 向前、y 向左、z 向上）以及世界坐标系（ENU 或 UTM）。标定的本质就是求解这些坐标系之间的刚体变换与投影关系。

# 典型外参标定结果（YAML 片段）
extrinsics:
  lidar_to_vehicle:
    translation: [1.20, 0.00, 1.85]   # 米
    rotation_quat: [0.0, 0.0, 0.0, 1.0]
  camera_front_to_vehicle:
    translation: [1.65, 0.00, 1.40]
    rotation_quat: [-0.5, 0.5, -0.5, 0.5]
  radar_front_to_vehicle:
    translation: [2.10, 0.00, 0.60]
    rotation_quat: [0.0, 0.0, 0.0, 1.0]
intrinsics:
  camera_front:
    fx: 1266.4  fy: 1266.4  cx: 816.0  cy: 612.0
    distortion: [k1, k2, p1, p2, k3]

点云投影到图像的标准链路为：激光点 → 雷达到车体 → 车体到相机 → 相机到像素。每一步都依赖标定参数，任何一步误差都会在投影结果中放大。

三、时间同步：硬件触发与软件对齐

多传感器时间同步分为硬同步与软同步。硬同步通过 PPS（秒脉冲）与 GPRS 时间或 gPTP 触发所有传感器在同一时刻曝光或采样；软同步则依赖各传感器自带时间戳，通过插值或最近邻匹配对齐。

四、标定基础与典型场景

标定分为内参标定与外参标定。内参描述相机焦距、主点与畸变；外参描述传感器之间的相对位姿。量产车常用目标法（棋盘格、标定板）做离线标定，用道路特征（车道线、杆状物）做在线标定与漂移监测。

一个典型场景：车辆在高速上以 120 km/h 行驶，相机 30 Hz、激光雷达 10 Hz、CAN 100 Hz。若不做时间对齐，直接用最近帧融合，120 km/h 下 33 ms 对应约 1.1 米位移，足以让点云与图像中的同一车辆错位。正确做法是把 CAN 车速插值到激光帧时刻，对点云做运动补偿，再投影到相机曝光时刻的图像上。

五、多模态数据流与对齐关系

下图展示六类模态从原始数据到统一时空表示的流转关系，以及标定与时间同步在其中的作用位置。

六、工程实践清单

1. 为每个传感器建立独立的数据解析器，输出统一 schema：timestamp、frame_id、data、metadata。
2. 所有时间戳统一到同一时钟源（如 gPTP 主时钟），并记录时钟偏移估计值。
3. 标定参数版本化管理，与数据采集批次绑定，保证回放可复现。
4. 建立投影残差与时间偏移的在线监控指标，异常时告警。
5. 数据回放时按目标时刻对齐，而非按文件顺序拼接。

只有把格式、坐标系、时间同步与标定这四块基础打牢，后续的多模态融合、跨模态对齐与表示学习才有可靠的数据底座。工程中大量“模型不收敛”的问题，根源往往不在网络结构，而在数据对齐环节。