1. 课程导入与系统总览
自动驾驶的感知系统并不是“把摄像头、激光雷达、毫米波雷达接到一起”这么简单。真正上车之后，系统要面对的是雨雾、逆光、隧道口明暗突变、前车扬尘、金属井盖强反射、隧道内多径反射等复杂场景。任何单一传感器都有其物理盲区：摄像头在强逆光下动态范围不足，激光雷达在雨雾中回波衰减且点云稀疏，毫米波雷达角分辨率有限、对静止目标分类困难。因此，感知系统的核心命题是——如何在有限算力与车规约束下，把多源异构数据在时间、空间、语义三个维度上对齐并融合，输出稳定、可追溯、可验证的环境模型。这正是 NVIDIA DRIVE 平台要解决的问题。
一、NVIDIA DRIVE 在感知链路中的定位
NVIDIA DRIVE 不是单一芯片，而是一套面向量产车的计算平台与软件栈。从感知角度看，它承担三层职责：底层是车规级算力与安全机制（如 DRIVE Orin/Thor 提供数百 TOPS 的 INT8 算力，并具备 ASIL-D 级别的安全岛与锁步核）；中间层是传感器接入与时间同步（通过 GMSL/FPD-Link 串行链路接入多路相机，通过 PTP/gPTP 与外部时钟实现硬件级时间戳对齐）；上层是感知软件栈（DriveWorks 提供传感器抽象、标定、点云处理、图像预处理等 SDK，DRIVE AV 提供更高层的感知与规划参考实现）。
换句话说，DRIVE 平台把“传感器怎么接、时间怎么对齐、数据怎么预处理、算力怎么调度”这些工程问题标准化，让开发者能把精力集中在融合算法与场景适配上。下图给出本节最值得先建立的整体认知：从物理传感器到融合输出的信号链与平台分层关系。
二、为什么必须做多传感器融合
可以用一个具体场景说明。假设自车以 60km/h（约 16.7m/s）行驶，前方 80m 处有一辆静止的故障车。此时：
- 摄像头能识别“这是一辆车”，但单目测距误差在 80m 处可能达到 ±8m，且逆光时目标对比度骤降；
- 激光雷达能给出精确距离（±2cm 量级）和轮廓，但雨雾天 80m 处点云可能只剩几十个点，难以分类；
- 毫米波雷达测距测速稳定（±0.1m、±0.1m/s），但角分辨率约 1°~2°，80m 处横向误差可达 1.4~2.8m，且对静止目标易被滤除。
三者单独看都不足以支撑安全决策，但融合后可以互补：雷达提供稳定的距离与速度先验，激光雷达提供精确几何，摄像头提供语义类别。融合的层次通常分为数据级（前融合）、特征级（中融合）和目标级（后融合）。前融合信息损失最小，但对时间同步和标定精度要求极高；后融合工程上最稳健，但会丢失部分原始信息。实际量产方案多为“特征级 + 目标级”混合，例如 BEV 网络在特征空间对齐多相机与激光雷达，再与雷达目标做后融合校验。
三、本课程的学习路径
本课程围绕“能接、能标、能融、能验、能上车”五个能力目标展开，共 30 章，整体路径如下：
| 阶段 | 章节范围 | 核心任务 | 可交付成果 |
|---|---|---|---|
| 基础与平台 | 第 1~6 章 | 理解 DRIVE 平台、传感器特性、时间同步与坐标系 | 传感器选型与接入方案 |
| 标定与预处理 | 第 7~12 章 | 完成内外参标定、去畸变、点云运动补偿 | 标定参数文件与验证报告 |
| 融合算法 | 第 13~20 章 | 实现 BEV 特征对齐、目标级融合与跟踪 | 融合感知输出与可视化 |
| 部署与优化 | 第 21~26 章 | TensorRT 量化、DLA 调度、实时性调优 | 可上车的推理引擎 |
| 验证与排障 | 第 27~30 章 | 场景回放、指标评估、典型故障定位 | 测试用例与排障手册 |
需要特别强调的是，本课程中的参数、代码和结果示例，除明确标注为实测外，均为教学示例或合理假设，用于说明方法与判断依据，不代表任何具体车型的最终标定值。实际项目中必须以自身传感器配置、安装位置和标定结果为准。
四、先建立三个工程习惯
在进入具体章节之前，建议先建立三个习惯，它们会贯穿整个课程：
- 一切以时间戳为准。任何融合结果都要能回答“这个目标对应的是哪个时刻的哪几帧数据”。时间戳不统一，后续所有对齐都是空中楼阁。
- 坐标系先定义再使用。本课程统一采用：车辆坐标系原点在后轴中心，X 向前、Y 向左、Z 向上；相机坐标系遵循 OpenCV 约定（X 右、Y 下、Z 前）。切换坐标系时必须显式说明变换关系。
- 每个结论都要有可复现的验证方法。无论是标定精度还是融合效果，都要给出可重复执行的检查步骤和判断阈值，而不是“看起来没问题”。
接下来，课程将从 DRIVE 平台的硬件与软件架构讲起，逐步深入到传感器接入、标定、融合、部署与验证的完整链路。每一章都会给出可操作的实现细节和判断依据，帮助你把“多传感器感知”从概念变成可上车、可验证的工程系统。