1. 课程导入与NVIDIA DRIVE平台概览
欢迎进入《NVIDIA DRIVE 车载 AI 推理系统部署与性能优化》课程。在动手写第一行部署脚本之前，我们需要先建立一张"全局地图"：车载 AI 推理系统到底由哪些层次构成，NVIDIA DRIVE 各条产品线分别站在什么位置，以及"部署"和"性能优化"这两件事在整条链路上究竟发生在哪里。只有把这张地图装进脑子，后续的模型转换、算子适配、内存规划、多传感器流水线调优才不会变成零散技巧的堆砌。
一、学习目标：从"能跑起来"到"跑得稳、跑得快"
本课程围绕一个核心问题展开：把一个训练好的深度神经网络，可靠地部署到 NVIDIA DRIVE 车载计算平台上，并让它满足车规级实时性与功耗约束。围绕这个问题，课程设定四个层次的目标。
- 认知层：理解车载 AI 推理系统与数据中心推理的本质差异——车端面对的是固定功耗预算、被动散热、宽温环境、多路并发传感器输入，以及功能安全与确定性延迟要求。
- 工具层：掌握 TensorRT、CUDA、cuDNN、NvMedia、DriveWorks 等软件栈的职责边界与协作方式，知道一个模型从 ONNX 到车端可执行引擎要经过哪些环节。
- 实践层：能够独立完成模型解析、精度校准（INT8/FP16）、层融合、动态形状配置、多流并发调度，并用 Nsight Systems 等工具定位瓶颈。
- 优化层：能够针对具体指标（端到端延迟、吞吐、显存占用、功耗）做量化分析与迭代，而不是凭感觉调参。
需要强调的是，本课程中的性能数字、配置参数和日志示例，除特别说明外均为教学示例或合理假设，用于说明方法与判断依据，不代表任何具体量产项目的实测结果。
二、车载 AI 推理系统的整体框架
一个完整的车载 AI 推理系统可以自上而下分为五层，理解这个分层是后续所有工作的前提。
传感器输入层：包括摄像头（通常 8 路以上，如 1920×1080@30fps）、激光雷达、毫米波雷达、超声波、IMU 与 GNSS。这一层的关键约束是数据量大、时间戳必须严格对齐，且不同传感器的帧率与延迟特性不同。
数据预处理层：完成去畸变、缩放、色彩空间转换（如 NV12 转 RGB）、归一化、ROI 裁剪等。在 DRIVE 平台上，这部分通常由 NvMedia 或 VPI 在 GPU/专用硬件上完成，而不是 CPU，否则会成为严重瓶颈。
推理执行层：由 TensorRT 引擎承载，运行感知、检测、分割、跟踪、预测等模型。这一层是课程优化的主战场，涉及精度模式选择、批处理策略、多流并发与显存复用。
后处理与融合层：包括 NMS、解码、目标跟踪、多传感器融合、规划控制接口。后处理常被忽视，但在实际系统中往往占用可观的 GPU 与 CPU 时间。
系统与安全层：包含 QNX/Linux 实时操作系统、DriveOS、功能安全监控、看门狗、日志与诊断。它决定了整个系统能否满足确定性与可恢复性要求。
下图给出这五层的结构关系，以及每层对应的典型软件组件与关键约束，帮助你在后续章节中快速定位"当前问题属于哪一层"。
三、NVIDIA DRIVE 产品线定位
NVIDIA DRIVE 不是单一芯片，而是一套面向自动驾驶与智能座舱的产品家族。理解各产品线的定位，才能判断"我的项目该用哪一档算力、哪一套软件栈"。
| 产品线 | 典型定位 | 算力量级（示例） | 核心应用场景 |
|---|---|---|---|
| DRIVE Orin | 当前量产主力，单芯片 SoC | 约 254 TOPS（INT8） | L2+ 到 L3 行泊一体、多传感器融合 |
| DRIVE Thor | 新一代集中式计算平台 | 约 1000 TOPS 级（示例） | 舱驾融合、L3/L4、中央计算架构 |
| DRIVE Atlan | 面向更高等级自动驾驶 | 1000 TOPS 级（示例） | L4 级自动驾驶、Robotaxi |
| DRIVE Hyperion | 参考硬件与传感器套件 | 随搭载平台而定 | 开发验证、传感器配置参考 |
| DRIVE AGX 开发套件 | 开发者原型平台 | 随搭载芯片而定 | 算法验证、部署调试、性能测试 |
需要提醒的是，上表中的算力数字为公开资料的量级示例，实际可用算力受精度模式、散热条件、功耗档位（如 Orin 的 15W/30W/60W 模式）影响显著。同一颗芯片在 60W 模式下能跑满的模型，在 15W 模式下可能需要降精度或降帧率。这正是"性能优化"存在的意义。
四、部署与性能优化的整体工作流
把模型部署到 DRIVE 平台，通常遵循这样一条链路：训练框架导出 ONNX → TensorRT 解析并构建引擎 → 精度校准与层融合 → 在目标平台验证精度与延迟 → 用 Profiler 定位瓶颈 → 迭代优化。这条链路中，每一步都有明确的输入、输出和判断依据。
例如，在精度校准阶段，一个常见的教学示例是：某检测模型 FP32 下 mAP 为 0.412，直接转 INT8 后 mAP 掉到 0.376，此时需要引入校准集（约 500～1000 张代表性图像）重新校准，观察 mAP 是否回到 0.405 以上。如果仍不达标，则考虑对敏感层保留 FP16，形成混合精度引擎。这里的数字均为示例，用于说明"如何判断优化是否达标"。