4. 驾驶多模态数据工程
驾驶视觉语言模型（VLM）的能力上限，很大程度上由数据工程决定。与通用图文数据不同，驾驶场景数据同时包含图像、视频、点云、CAN 总线信号、GPS/IMU 轨迹以及自然语言指令，具有强时序、强空间、强合规约束。本章围绕“采集—标注—清洗—合规—构建”五段式流水线，说明如何把原始车端数据转化为可训练、可审计、可复现的多模态数据集。
一、核心原理：多模态数据的时间对齐与语义对齐
驾驶多模态数据的核心难点不是“有没有数据”，而是“同一时刻的多种模态是否指向同一物理事件”。摄像头曝光时刻、激光雷达扫描周期、CAN 报文周期、标注关键帧之间存在毫秒级偏差，若不对齐，模型会学到错误的因果关联。因此数据工程的第一原理是时空基准统一：以统一时间戳（如 UTC 微秒）为轴，将各传感器数据插值或最近邻匹配到同一采样栅格。
第二原理是语义对齐：图像中的“前方车辆”、点云中的 3D 框、CAN 中的车速与制动信号、语言指令中的“前车减速”必须指向同一对象。这要求标注规范中定义统一的实体 ID 与关系标签，使跨模态监督信号可互相验证。
二、方法流程：五段式数据流水线
下图给出从车端采集到数据集发布的主链路，包含采集、标注、清洗、合规、构建五个阶段及其关键产物。
三、标注规范：从“画框”到“可训练语义”
驾驶标注规范必须覆盖三类对象：静态要素（车道线、路沿、交通标志）、动态要素（车辆、行人、骑行者）、关系与意图（跟车、切入、让行、超车）。仅画 2D 框不足以支撑 VLM 的推理能力，还需为每个实体附加属性（遮挡、朝向、速度）和关系标签。
推荐采用“实体—属性—关系—指令”四层标注模型，并用统一 ID 贯穿图像、点云与语言描述。例如同一辆车在图像中为 obj_1024，在点云中为 obj_1024，在指令中为“前方 obj_1024 正在减速”。这样模型才能学会跨模态指代。
| 标注层级 | 典型字段 | 质量要求 |
|---|---|---|
| 实体 | ID、类别、2D/3D 框、跟踪 ID | 框贴合度 IoU ≥ 0.7，跟踪 ID 连续 |
| 属性 | 遮挡、截断、朝向、速度、颜色 | 属性缺失率 < 2% |
| 关系 | 跟车、相邻、切入、让行 | 关系方向与时间一致性校验 |
| 指令 | 自然语言描述、意图标签 | 与实体 ID 绑定，无歧义指代 |
四、数据清洗：把“脏数据”挡在训练之前
清洗不是简单删数据，而是建立可量化的质量门禁。常见清洗规则包括：
- 时间对齐：以 10Hz 或 20Hz 统一采样，检查各传感器时间戳偏差是否超过阈值（如 20ms）。
- 去重：对连续帧计算感知哈希或特征相似度，剔除静止场景中的冗余帧。
- 去模糊/去异常：检测运动模糊、过曝、雨雪遮挡，标记为低质量样本。
- 标签校验：检查框越界、类别冲突、跟踪 ID 跳变、指令与实体不匹配。
- 长尾保留：对稀有场景（施工区、事故、异形车辆）降低清洗阈值，避免过度过滤。
# 示例：时间对齐与质量门禁伪代码
for sample in raw_dataset:
ts_cam = sample.camera.timestamp
ts_lidar = sample.lidar.timestamp
if abs(ts_cam - ts_lidar) > 20_000: # 20ms
drop(sample, reason="time_misalign")
if sample.blur_score < 0.3:
drop(sample, reason="motion_blur")
if sample.label.iou < 0.7:
flag(sample, reason="low_iou")
if sample.scene.rarity > 0.9:
keep(sample, reason="long_tail")
五、隐私合规：脱敏、授权与审计
驾驶数据天然包含人脸、车牌、地理位置与车主行为轨迹，属于高敏感数据。合规处理应遵循“最小必要、目的限定、可审计”原则。技术手段包括：人脸与车牌检测后模糊或替换、地理坐标降精度或区域偏移、语音指令去除个人身份信息。流程上需保留数据来源授权链、采集区域许可、标注人员权限与访问日志。
六、案例与复盘：一个城市 NOA 数据集构建实例
某城市 NOA 项目需要构建 50 万帧多模态数据集。团队先按“场景—天气—时段—区域”四维分层采样，避免数据分布偏斜；随后用自动预标注 + 人工修正的方式将标注效率提升 3 倍；清洗阶段剔除 12% 的时间错位样本与 8% 的模糊样本；合规阶段对所有人脸车牌进行脱敏并记录审计日志；最终按 8:1:1 划分训练、验证、测试集，并发布带哈希指纹的 v1.2 版本。
复盘发现两个典型误区：一是早期只关注图像清晰度，忽略了 CAN 信号与视觉的时序对齐，导致模型对“制动灯”与“减速”的关联学习不稳定；二是标注规范未定义关系标签，模型无法回答“前车是否在让行”这类推理问题。修正后，模型在跟车与切入场景的描述准确率提升约 15%。
综上，驾驶多模态数据工程的关键在于：以统一时空基准对齐多源信号，以四层标注模型提供可训练语义，以质量门禁清洗脏数据，以合规流程守住隐私底线，最终以版本化数据集支撑可复现的模型训练与微调。