1. 课程导入

自动驾驶研发不是从写第一行感知代码开始的，而是从“数据从哪里来、如何被组织、怎样被验证”开始的。公开数据集与工具链工程，正是连接算法研究与工程落地的桥梁。本课程的目标，是让学习者建立一套可复用的数据工程思维：既能读懂主流数据集的标注规范与评测协议，也能搭建从数据采集、清洗、标注、训练到闭环验证的工具链。

一、学习目标：从“会用数据”到“会造工具链”

本课程的学习目标分为四个层次。第一层是认知层：理解自动驾驶数据集的基本分类，包括感知数据集、预测数据集、规划数据集和仿真数据集，掌握传感器配置、标注类型、场景覆盖等关键维度。第二层是操作层：能够独立完成数据集的下载、解压、格式转换、可视化与切片管理。第三层是工程层：能够设计数据版本管理、标注质量校验、训练集/验证集划分和评测流水线。第四层是架构层：能够根据项目需求，组合开源工具与自研模块，形成可扩展的数据闭环系统。

这四层目标对应一条清晰的学习路径：先建立数据地图，再掌握单点工具，最后串联成工程流水线。缺少任何一层，都会导致“模型能跑但不可复现”或“数据很多但用不起来”的典型问题。

二、核心概念：数据集、标注、工具链与闭环

自动驾驶公开数据集通常由传感器数据、标注文件、标定参数和评测协议四部分组成。传感器数据包括相机图像、激光雷达点云、毫米波雷达回波和 GPS/IMU 位姿；标注文件则涵盖 2D/3D 边界框、语义分割掩码、车道线、可行驶区域和轨迹预测。标定参数决定了多传感器融合的精度，而评测协议定义了“什么算好”的标准。

工具链工程的核心，是把这些异构数据统一成可管理的资产。典型工具链包括：数据采集与回放工具、格式转换工具、标注质检工具、数据增强与切片工具、训练框架适配层、评测与可视化工具。它们之间的关系不是简单的线性流程，而是一个数据闭环：训练结果反馈到数据挖掘，挖掘出的难例再进入标注和训练。

三、方法流程：从数据集到工程资产的四步法

面对一个公开数据集，建议按以下四步推进。第一步是数据勘察：统计传感器数量、帧率、标注密度、场景分布和类别不平衡情况。第二步是格式统一：将不同数据集的标注转换为内部统一格式，例如将 KITTI 的 3D 框、nuScenes 的全局坐标系和 Waymo 的帧级标注统一到同一套 schema。第三步是质量校验：检查标注缺失、框越界、时间戳错位和标定文件不一致等问题。第四步是流水线固化：把上述步骤写成可重复执行的脚本或配置，纳入版本管理。

# 示例：数据集勘察与格式转换的典型命令流
python tools/inspect_dataset.py --dataset nuscenes --root /data/nuscenes
python tools/convert_annotations.py --input kitti_label --output unified_json
python tools/validate_labels.py --config configs/quality_rules.yaml
python tools/build_datalist.py --split train --version v1.2

这四步看似简单，但每一步都隐藏着工程细节。例如，nuScenes 使用全局坐标系，而 KITTI 使用相机坐标系，直接混用会导致 3D 框位置完全错误。再如，不同数据集的类别定义不一致，“车辆”在某个数据集中可能包含卡车，在另一个数据集中则单独分类。这些细节决定了后续模型训练是否可靠。

四、案例场景：一个感知项目的工具链搭建

假设团队要做一个城市道路 3D 目标检测项目，选择 nuScenes 作为主数据集，KITTI 作为补充。工具链可以这样组织：用 nuScenes devkit 读取原始数据，用自研转换脚本输出统一格式；用 FiftyOne 或 CVAT 做可视化质检；用 PyTorch Lightning 组织训练；用 nuScenes 官方评测工具计算 NDS 和 mAP。训练完成后，把误检和漏检样本导出，进入难例挖掘流程，再送回标注平台。

五、误区与复盘：初学者最容易踩的坑

复盘这些问题的根源，往往不是算法能力不足，而是数据工程意识薄弱。工具链工程的价值，正是把“偶然跑通”变成“稳定可复现”。本课程后续章节将围绕数据采集、标注、转换、质检、训练适配和评测闭环逐一展开，帮助学习者建立完整的工程能力。