3. 数据流工程核心概念

自动驾驶感知系统的能力上限，不仅取决于模型与算法，更取决于数据在系统中的流动质量。数据流工程（Data Flow Engineering）研究的正是数据从产生到发挥价值的全过程：在哪里采集、如何传输、怎样预处理、何时同步、如何融合、存到哪里、怎样回放、最终如何回到模型迭代中形成闭环。理解这些基本术语与流程，是设计感知系统架构的前提。

一、核心原理：数据流的八个基本环节

一条完整的自动驾驶数据链路通常包含八个环节，它们既可以是串行流水线，也可以根据场景形成并行或反馈结构。

• 数据采集（Acquisition）：通过摄像头、激光雷达、毫米波雷达、IMU、GNSS、轮速计等传感器获取原始信号，关注采样率、曝光、量程与触发方式。
• 数据传输（Transport）：将原始数据从传感器端送到计算平台，常见介质包括GMSL、以太网、CAN FD、PCIe，关注带宽、延迟与丢包。
• 数据预处理（Preprocessing）：去噪、去畸变、裁剪、格式转换、时间戳对齐、点云运动补偿等，为后续算法提供干净输入。
• 时间同步（Synchronization）：通过PTP、gPTP、硬件触发或软件插值，使多传感器数据落在统一时间基准上。
• 数据融合（Fusion）：在时间与空间对齐后，将多源信息组合为统一的环境描述，分为前融合、特征融合与后融合。
• 数据存储（Storage）：以rosbag、MCAP、自定义二进制或对象存储方式持久化，关注写入吞吐、索引与压缩。
• 数据回放（Replay）：按原始时序重放数据，用于算法调试、回归测试与故障复现。
• 数据闭环（Data Loop）：从车端采集到云端标注、训练、评测、再发版的循环，是持续提升感知能力的关键机制。

二、方法流程：一次典型的数据流执行

以一段城市NOA（领航辅助驾驶）数据为例，数据流的执行顺序如下：

1. 车辆在路口触发采集，相机以30fps、LiDAR以10Hz、IMU以100Hz同步记录。
2. 原始数据经GMSL与车载以太网汇聚到域控制器，写入高速缓存。
3. 预处理模块对图像去畸变、对点云做运动补偿，并统一时间戳到PTP主时钟。
4. 同步后的数据进入融合模块，生成带类别、位置、速度的目标列表。
5. 融合结果与原始数据一并写入MCAP文件，并上传至云端对象存储。
6. 回放工具按原始时间轴重放，供算法工程师复现问题。
7. 闭环系统筛选高价值片段，进入标注与训练流程，最终以OTA形式回到车端。

# 典型数据流配置片段（示意）
sensor:
  camera_front: {fps: 30, format: raw10, transport: gmsl}
  lidar_top:    {fps: 10, format: pointcloud2, transport: ethernet}
  imu:          {rate: 100, transport: canfd}
sync:
  mode: ptp
  master: gptp_grandmaster
  max_offset_ms: 1.0
storage:
  format: mcap
  compression: zstd
  chunk_size_mb: 64

三、案例场景：高速匝道汇入的数据流挑战

在高速匝道汇入场景中，自车需要同时处理主路快速车辆与匝道慢速车辆。此时数据流面临三个典型压力：

• 带宽压力：8路相机与1路激光雷达同时工作，原始数据率可达数GB/s，传输链路必须支持优先级调度。
• 同步压力：相机曝光与LiDAR扫描存在毫秒级偏差，若不同步，融合后的目标位置会出现“重影”。
• 存储压力：长时间采集会产生海量数据，需要边采边压缩、边筛选，避免无效数据占用存储。

四、误区与复盘