1. 课程导入与NVIDIA DRIVE平台概览

欢迎进入《NVIDIA DRIVE传感器标定与数据采集》课程。在正式动手标定之前,我们需要先建立一张"全局地图":自动驾驶系统到底依赖哪些传感器、这些传感器为什么必须被标定、数据采集在整个链路中扮演什么角色,以及NVIDIA DRIVE平台提供了哪些硬件与软件能力来支撑这两件事。本章不涉及具体算法,但会决定你后续每一章的学习方向——如果这一章理解偏差,后面很容易把"标定"和"采集"当成两个孤立任务,而它们实际上是同一条数据链上的上下游。

一、学习目标:学完本课程你能做什么

本课程面向已经具备一定自动驾驶或机器人感知基础、希望系统掌握传感器标定与数据采集工程实践的读者。完成全部30章后,你应当能够独立完成以下工作:

  • 理解相机、激光雷达、毫米波雷达、IMU、GNSS等车载传感器的物理测量原理及其误差来源;
  • 在NVIDIA DRIVE平台上完成相机内参标定、多相机外参标定、相机-激光雷达联合标定、雷达-激光雷达外参标定;
  • 设计并执行一套完整的数据采集方案,包括传感器触发同步、时间戳对齐、数据落盘与质量检查;
  • 使用DRIVE平台提供的工具链(如DriveWorks、Drive OS、NVIDIA TAO等)进行标定参数管理、数据回放与验证;
  • 对采集到的数据进行可用性判断,识别常见的标定失效与采集异常场景。

需要强调的是,标定不是"一次性配置",而是一个贯穿车辆全生命周期的工程活动。车辆震动、温度变化、碰撞、更换传感器都会导致外参漂移,因此在线标定与定期复标同样是本课程的重点内容。

二、传感器标定与数据采集在自动驾驶中的角色

自动驾驶的感知、定位、预测、规划模块都建立在"传感器数据能被正确解释"这一前提之上。标定解决的是"传感器之间的空间与时间关系",数据采集解决的是"原始信号如何被完整、同步、可追溯地记录下来"。两者共同构成感知系统的地基。

以典型的L2+级自动驾驶车辆为例,其传感器配置通常包括:前视长焦相机、前视广角相机、侧视相机、后视相机、环视相机、顶部机械式或半固态激光雷达、前向毫米波雷达、角雷达、IMU与GNSS组合导航单元。这些传感器安装位置不同、采样频率不同、坐标系不同,如果不经过标定,融合算法会把同一辆前车在不同传感器中识别为不同位置的目标。

标定的本质是求解坐标变换。相机内参标定求解像素坐标与相机归一化平面之间的映射,通常用针孔模型加畸变模型描述;外参标定求解传感器坐标系到车辆坐标系(或某一参考坐标系)的刚体变换,即旋转矩阵R与平移向量t。时间标定则求解传感器采样时刻之间的偏移量。数据采集则要保证这些传感器在同一时刻的观测被正确关联,并保留足够的时间戳精度。

一个常见的误解是"标定一次就永久有效"。实际上,外参误差超过约0.1°就可能导致远距离目标融合失败,因此量产车通常需要在线标定能力作为兜底。

三、NVIDIA DRIVE平台硬件与软件栈简介

NVIDIA DRIVE是一个面向自动驾驶的计算平台,涵盖从开发到量产的完整链条。硬件层面,核心计算单元是DRIVE AGX系列SoC,例如DRIVE AGX Orin,它集成了NVIDIA Ampere架构GPU、Arm Cortex-A78AE CPU、深度学习加速器DLA、可编程视觉加速器PVA以及安全岛。这些异构单元分别承担感知推理、通用计算、图像预处理与功能安全任务。

传感器接入方面,DRIVE平台通过GMSL或FPD-Link等车载串行链路连接相机,通过以太网或CAN连接激光雷达与雷达,通过PPS与gPTP实现全局时间同步。这一点对数据采集至关重要:只有硬件级同步,才能保证多传感器数据在时间上可对齐。

软件层面,DRIVE OS提供实时操作系统与驱动,DriveWorks提供传感器抽象、标定、图像处理、点云处理等中间件,NVIDIA TAO Toolkit用于模型训练与迁移学习,DRIVE Sim用于仿真验证。对于标定与采集任务,最常用的是DriveWorks中的标定模块与数据记录工具。

NVIDIA DRIVE 平台:传感器 → 标定 → 采集 → 感知 数据链 传感器层(物理测量) 相机 ×N 30fps / 像素 激光雷达 10Hz / 点云 毫米波雷达 20Hz / 目标 IMU 100Hz / 角速度 GNSS 10Hz / 定位 同步与采集层(时间对齐 + 落盘) PPS / gPTP 硬件同步 全局时间基准 时间戳对齐 触发延迟补偿 数据记录 原始包 + 元数据 标定层(空间 + 时间参数) 内参标定 焦距 / 主点 / 畸变 外参标定 R / t 刚体变换 时间标定 采样偏移量 感知与融合层 目标检测 / 跟踪 多传感器融合 定位与建图 SLAM / 组合导航 规划与控制 下游决策 在线标定反馈

上图展示了从传感器到感知的完整数据链。可以看到,标定层位于采集层与感知层之间,它既依赖采集到的原始数据,又为感知提供参数基础。右侧的虚线回路表示在线标定:当感知模块发现融合残差异常时,可以触发外参的在线估计与更新,这正是量产自动驾驶系统必须具备的能力。

四、本课程的组织方式与学习建议

后续章节将按照"原理—工具—实操—验证"的节奏展开。第2至第6章讲解各传感器的测量模型与误差特性;第7至第14章进入相机标定与多传感器联合标定的具体操作;第15至第22章聚焦数据采集系统设计、时间同步与数据管理;第23至第30章讨论在线标定、故障诊断与量产落地中的工程问题。

建议在学习过程中准备一台具备NVIDIA DRIVE AGX开发套件或等效环境的机器,并准备一组包含相机、激光雷达、IMU的示例数据。每章的实操环节都会给出可复现的参数与判断依据,但请注意:文中出现的具体数值均为教学示例或合理假设,实际工程中必须根据你的传感器型号、安装位置与标定场地重新测量。

标定与采集涉及车辆安全,任何在真实车辆上进行的操作都必须在封闭场地、由具备资质的人员执行,并确保车辆处于安全状态。本课程中的操作示例仅用于教学理解。