1. 课程导入
自动驾驶研发每天产生的路测与仿真数据可达数十 TB。真正决定模型迭代效率的，往往不是“采集了多少数据”，而是“能否在几分钟内精准找到需要的那一小段”。本课程围绕数据切片与场景索引两条主线，讲解如何把海量原始数据转化为可检索、可复用、可追溯的工程资产。
一、学习目标
- 理解数据切片、场景标签、索引结构三者的关系，能说清“一段数据为什么能被检索到”。
- 掌握从原始 rosbag/视频/点云到切片元数据的处理链路，能独立设计切片规则。
- 能够为典型场景（如加塞、鬼探头、施工区）建立可查询的索引字段与标签体系。
- 具备检索性能优化意识，能针对召回率、查询延迟、存储成本做权衡。
二、核心概念：切片、标签与索引
数据切片是把连续采集流按时间、事件或语义边界切分成最小可用单元。一个切片通常包含固定时长窗口、触发前后缓冲、传感器同步信息与车辆状态。场景标签是对切片语义的抽象描述，例如“雨天”“前车急刹”“无保护左转”。场景索引则是把这些标签、时间、位置、车辆状态组织成可高效查询的数据结构。
核心公式：可检索数据 = 切片边界清晰 + 标签语义一致 + 索引字段可过滤
三者缺一不可。切片过粗会导致检索结果夹杂无关片段；标签体系不统一会让同一场景出现多种命名；索引字段设计不合理则会让查询退化为全表扫描。
三、方法流程：从原始流到可检索切片
- 数据接入：统一解析 rosbag、视频、点云与车辆总线数据，建立时间戳对齐基准。
- 切片生成：按固定窗口或事件触发切分，保留触发点前后各若干秒缓冲。
- 标签计算：通过规则、模型或人工标注生成场景标签与结构化元数据。
- 索引写入：将切片 ID、标签、时间、位置、车辆状态写入索引库。
- 检索服务：对外提供条件查询、相似召回与批量导出接口。
下面是一段切片元数据的示例结构，字段设计直接决定后续检索能力：
{
"slice_id": "SL-20240512-083421-017",
"start_ts": 1715474061.230,
"end_ts": 1715474069.730,
"duration_s": 8.5,
"scene_tags": ["cut_in", "rainy", "urban"],
"ego_speed_kph": 42.6,
"gps": {"lat": 31.2304, "lon": 121.4737},
"sensors": ["camera_front", "lidar_top", "radar_front"],
"trigger": "front_cut_in_ttc_lt_2s"
}四、案例场景：一次加塞场景检索
假设算法团队需要验证“雨天城市道路前车加塞”场景下的制动响应。若没有索引，工程师只能按日期翻找路测数据，耗时数小时。有了场景索引后，查询条件可以写成：
scene_tags contains "cut_in"
AND weather = "rainy"
AND road_type = "urban"
AND ego_speed_kph BETWEEN 30 AND 60
AND ttc_min_s < 2.0索引库在秒级返回若干切片 ID，并附带切片起止时间、传感器列表与触发原因。工程师可直接导出这些切片，组成回归测试集。这正是数据切片检索工程的核心价值：把“找数据”从人工劳动变成可复现的查询操作。
五、常见误区与复盘
| 误区 | 表现 | 改进方向 |
|---|---|---|
| 切片边界随意 | 同一场景被切碎或混入无关片段 | 统一触发规则与缓冲窗口 |
| 标签命名不统一 | “加塞”“cut_in”“强行并线”并存 | 建立受控词表与标签字典 |
| 索引字段过少 | 只能按时间查，无法按场景过滤 | 补充天气、道路、TTC 等字段 |
| 忽略数据血缘 | 切片来源与版本无法追溯 | 记录采集车、日期、处理版本 |
建议在项目初期就确定切片最小单元、标签命名规范和索引字段清单。后期再补，成本往往是初期的数倍。
切片检索系统不是简单的文件服务器。若只按目录存储而不建索引，数据量增长后查询效率会迅速恶化，最终无法支撑模型迭代节奏。
本课程后续将围绕切片规则设计、标签体系、索引结构、检索性能优化与工程落地逐层展开。掌握这套方法后，团队可以用更少的数据、更短的周期，完成更可靠的自动驾驶算法验证。