1. 课程导入与全景认知
智能驾驶系统本质上是一台“在移动中持续做实时决策的分布式计算机”。摄像头、毫米波雷达、激光雷达、超声波、IMU、GNSS 等传感器不断产生数据，计算平台要在几十毫秒内完成感知、融合、预测、规划与控制，并把结果通过车载网络下发给执行器。NVIDIA DRIVE 正是面向这一任务构建的计算与软件平台：底层是车规级 SoC（如 Orin、Thor 系列）与安全岛，中间是 DriveOS、CUDA、TensorRT、NvMedia 等运行时与加速库，上层是 DRIVE AV/DRIVE IX 等参考软件栈，外围则通过车载以太网、CAN/CAN FD、PCIe、GMSL 等接口与传感器、执行器、网关互联。
理解这门课，关键不是记住某个 API，而是建立一张“数据从物理世界到车辆动作”的全景地图。传感器采集产生原始数据流，经串行器/解串器链路进入 SoC 的 CSI、PCIe 或以太网接口；数据在内存中被预处理、时间同步、送入神经网络推理；推理结果与雷达点云、地图、定位信息融合，形成环境模型；规划模块输出轨迹，控制模块生成油门、制动、转向指令；指令再经 CAN 或以太网发给底盘执行器。整条链路上，任何一环的带宽、时延、抖动或同步误差，都可能直接反映为功能表现下降甚至安全风险。
从工程边界看，本课程关注的是“数据链路与高速通信”，而不是算法本身。也就是说，我们不会深入讨论 BEV 网络结构或规划算法细节，而是聚焦：数据如何被可靠、低延迟、可观测地搬运；带宽和时延如何计算与验证；接口如何配置与调试；异常如何定位。一个典型的量化视角是：8 路 1920×1080、30fps、RAW12 的摄像头，单路原始码率约为 1920×1080×12×30 ≈ 746 Mbps，8 路合计约 5.97 Gbps；若经 ISP 压缩为 YUV420 8bit，则降到约 3.98 Gbps。这些数字决定了 GMSL 链路、CSI 通道和内存带宽的选型下限。
上图的横向主线是数据流，纵向是分层，底部贯穿条强调“时间同步与可观测性”不是某个模块的附属功能，而是全链路约束。右侧学习路径则对应本课程后续章节的推进顺序：先建立接口与链路认知，再深入内存、同步、推理部署，最后落到带宽时延计算、调试排障与安全冗余。
工程对象与关键参数
在进入具体章节前，先建立几个贯穿全课程的量化概念。第一是带宽：链路带宽必须大于峰值数据率并留有余量，工程上通常要求利用率不超过 70%～80%。第二是时延：从光子进入镜头到执行器动作，典型目标在 100 ms 量级以内，其中传感器曝光与传输、推理、融合、控制各占一段。第三是抖动：周期任务的抖动若超过帧周期的一半，就会造成丢帧或时间戳错位。第四是同步误差：多传感器融合要求时间对齐误差小于半个帧周期，例如 30fps 下约 16.7 ms，实际工程常要求控制在 1～5 ms。
| 工程对象 | 典型接口/技术 | 关键参数 | 常见风险 |
|---|---|---|---|
| 摄像头 | GMSL2 / CSI-2 | 分辨率、帧率、RAW bit、链路速率 | 丢帧、曝光不同步、EMI |
| 雷达/激光雷达 | 以太网 / CAN FD | 点云率、时间戳、坐标系 | 时间错位、带宽突发 |
| 计算平台 | Orin / Thor SoC | TOPS、内存带宽、功耗 | 热降频、内存争用 |
| 软件运行时 | DriveOS / CUDA / TensorRT | 调度周期、流优先级、引擎精度 | 优先级反转、推理抖动 |
| 车载网络 | 千兆/万兆以太网、CAN FD | 带宽、QoS、VLAN、周期 | 拥塞、丢包、错误帧 |
| 时间同步 | PTP / gPTP / 硬件触发 | 主从偏差、路径延迟、抖动 | 同步丢失、时间跳变 |
最后需要明确课程边界：我们讨论的是 NVIDIA DRIVE 平台上的数据搬运与通信工程，包括 DriveOS 下的设备树与驱动配置、GMSL 解串器初始化、CSI 虚拟通道映射、CUDA 与 NvMedia 的缓冲区管理、TensorRT 引擎的输入输出绑定、PTP 时间同步配置、CAN 报文周期与网关路由、以及用 nsight、tegrastats、ethtool、canbus 统计等工具做观测。算法精度、模型结构、规控策略不属于本课程重点，但会作为数据链路的“消费者”被提及，以便理解接口契约和性能预算的来源。
当你完成本课程后，应当能够独立回答：一台 DRIVE 平台上有哪些数据流、它们各自走什么物理接口、带宽和时延预算如何分配、时间同步如何建立、异常时从哪一层开始排查。这正是“全景认知”要达成的目标——先看见整张地图，再逐段深入。