📚 课程目录第4章数据来源与特征工程

4. 数据来源与特征工程

自动驾驶智能体的记忆与上下文管理，本质上是对“世界状态”的持续压缩与检索。而世界状态的第一手素材，来自多源异构数据。本章聚焦六类核心数据源——车载传感器、高精地图、V2X、驾驶日志、时间序列与多模态特征，讲清它们各自提供什么信息、如何转化为可被记忆系统消费的特征，以及工程上最容易踩的坑。

一、核心原理：六类数据源的定位与互补

传感器数据是智能体的“即时感官”，包括摄像头、激光雷达、毫米波雷达、IMU、GNSS与轮速计。摄像头提供语义与纹理，激光雷达提供精确三维几何，毫米波雷达提供速度与恶劣天气下的鲁棒性，IMU与轮速计提供高频运动先验。高精地图是“先验知识库”，提供车道拓扑、曲率、坡度、限速、路口连接关系等静态语义，使感知不必从零推断道路结构。V2X是“超视距协同信息”，通过V2V、V2I、V2P、V2N获取他车意图、信号灯相位与配时、盲区目标与道路事件。驾驶日志是“行为与经验记录”，包含人工接管、急刹、变道决策、系统告警等事件流。时间序列是“组织方式”，把上述离散观测按时间轴对齐成可回溯的轨迹。多模态特征则是“融合结果”，将不同模态映射到统一表征空间，供记忆模块写入与检索。

关键认知：记忆系统不是把所有原始数据都存下来，而是存储“可复用的特征摘要 + 可追溯的原始索引”。特征工程的质量，直接决定记忆检索的召回率与上下文窗口的有效信息密度。

二、方法流程：从原始数据到记忆特征

一条完整的特征工程流水线通常包含六个阶段：采集与时间同步、坐标统一、清洗与对齐、特征抽取、多模态融合、特征入库与版本管理。

采集与时间同步：以PTP或gPTP为基准，将各传感器时间戳统一到同一时钟域，典型要求为毫秒级同步；对摄像头与激光雷达做硬件触发对齐。
坐标统一：将各传感器坐标变换到车体坐标系，再变换到世界坐标系（如UTM或局部ENU），并记录外参标定版本。
清洗与对齐：剔除丢帧、时间戳跳变、点云运动畸变；对高精地图按车辆位置做局部裁剪，形成“局部地图切片”。
特征抽取：按模态抽取几何、语义、运动、交互四类特征。
多模态融合：采用早期融合、中期融合或晚期融合，将BEV特征、地图栅格、V2X消息与驾驶事件拼接为统一token序列。
入库与版本管理：为每条特征记录写入时间戳、位置、场景标签、数据版本与置信度，支持按时间窗与空间范围检索。

三、特征抽取：四类特征的具体内容

几何特征描述空间结构，如目标框尺寸、点云簇的朝向、车道线曲率、可行驶区域边界。语义特征描述类别与属性，如车辆类型、行人姿态、交通标志含义、信号灯颜色。运动特征描述动态趋势，如速度、加速度、横摆角速度、轨迹预测的均值与方差。交互特征描述智能体之间的关系，如车距、TTC、冲突点、让行关系、V2X消息中的意图字段。

在工程实现中，常用BEV栅格把几何与语义压到统一网格，再用Transformer编码为token序列。下面是一段特征入库的伪代码示例：

feature_record = {
  "ts": 1710000000.123,          # 统一时钟戳
  "pose": [x, y, z, yaw],        # 世界坐标位姿
  "bev_tokens": [...],           # BEV特征token
  "map_slice_id": "HDMAP_0x3A2F",
  "v2x_msgs": ["BSM", "SPaT"],   # 他车状态与信号灯相位
  "event_tag": "lane_change",    # 驾驶日志事件
  "confidence": 0.92,
  "data_version": "v2.4.1"
}
memory.write(feature_record, index=["ts", "pose", "event_tag"])

四、案例场景：城市路口左转的记忆组装

车辆接近路口准备左转。短期记忆写入最近3秒的BEV特征与自车轨迹；高精地图提供路口拓扑与左转待转区几何；V2X收到对向直行车辆的BSM与信号灯SPaT相位；驾驶日志记录此前该路口的人工接管事件。上下文组装时，系统按“当前路口ID + 左转任务”检索长期记忆中的历史通过模式，按“对向车辆 + 信号灯”检索V2X实时消息，按“接管”检索事件记忆中的相似片段。最终形成一段包含几何、语义、运动、交互四类信息的token序列，供决策模块使用。

五、常见误区与复盘

误区	后果	改进措施
只存原始数据，不做特征摘要	记忆膨胀，检索慢，上下文窗口被噪声占满	写入时生成特征摘要与索引，原始数据冷存储
忽略时间同步精度	多模态融合错位，轨迹与地图不匹配	统一PTP时钟，记录同步误差并做补偿
高精地图版本与实车不一致	先验错误，导致规划压线或误判路口	地图版本与特征记录绑定，支持回滚
V2X消息不做置信度过滤	错误他车意图污染记忆，引发误刹	按消息源、时延、校验结果赋权后再入库
驾驶日志只记事件不记上下文	复盘时无法还原决策场景	事件前后各截取固定时间窗的特征快照

实践建议：为每条特征记录同时写入“时间戳、空间位置、场景标签、数据版本、置信度”五个元字段。这五个字段是记忆检索的骨架，缺一个都会让后续的上下文组装变得低效甚至不可靠。

注意：多模态融合不是简单拼接。不同模态的采样率、坐标系、置信度差异很大，必须先做时间对齐与空间对齐，再在统一表征空间内融合。否则融合结果会比单模态更差。

总结来看，传感器、高精地图、V2X、驾驶日志是四类互补的数据来源，时间序列是组织骨架，多模态特征是最终产物。特征工程的目标，是把这些异构数据转化为可索引、可检索、可压缩的记忆单元，让智能体在需要时能快速调出“与当前场景最相关的那一小段世界状态”。