1. 课程导入
欢迎进入《Orin自动驾驶模型部署与性能优化工程》课程。在正式动手部署第一个模型之前，我们需要先建立一张清晰的“全局地图”：Orin在自动驾驶计算平台中处于什么位置？它为什么成为当前量产智驾的主流选择？本课程要解决哪些工程问题？学完之后你能独立完成什么？这一节将回答这些问题，并给出贯穿全课的实战项目主线。
一、Orin平台在自动驾驶中的定位
自动驾驶系统通常分为感知、定位、预测、规划、控制五大模块，其中感知与预测对算力需求最高。车载计算平台需要在有限功耗、有限散热、车规级可靠性约束下，同时处理多路摄像头、激光雷达、毫米波雷达和超声波数据。NVIDIA DRIVE Orin 正是面向这一场景设计的高性能车规级SoC，单颗算力约254 TOPS（INT8），支持多传感器融合与深度学习推理并行执行。
从系统层级看，Orin位于“传感器—计算平台—执行器”链路的中心位置：上游通过CSI、PCIe、以太网等接口接入传感器与域控制器，下游通过CAN、车载以太网向底盘与执行机构输出控制指令。它既是数据汇聚点，也是模型推理与决策的核心算力底座。理解这一位置，有助于我们在后续优化中判断瓶颈究竟来自传感器带宽、内存带宽、GPU算力还是CPU调度。
二、课程学习目标
本课程不是泛泛介绍Orin的规格参数，而是围绕“把模型真正跑上车”这一工程目标展开。学完本课程，你应当具备以下能力：
- 能够独立完成从PyTorch模型到TensorRT引擎的转换、校准与量化，并部署到Orin设备上运行。
- 能够使用Nsight Systems、Nsight Compute、tegrastats等工具定位GPU、CPU、内存、DLA各环节的性能瓶颈。
- 能够针对Orin的硬件特性进行算子融合、精度选择、批处理与流水线设计，把端到端延迟压到可接受范围。
- 能够设计多模型并行的推理调度方案，在有限算力下平衡感知、预测等多任务资源占用。
- 能够建立可复现的部署与性能测试流程，输出可交付的工程报告。
三、整体知识框架
课程内容按“认知—转换—优化—部署—实战”五层递进组织，每一层都对应Orin工程中的关键动作：
| 层级 | 核心内容 | 关键工具/技术 | 产出物 |
|---|---|---|---|
| 认知层 | Orin架构、算力分布、内存模型、车规约束 | 规格文档、tegrastats | 硬件能力评估表 |
| 转换层 | ONNX导出、TensorRT构建、精度校准 | PyTorch、ONNX、trtexec | 可运行engine文件 |
| 优化层 | 算子融合、INT8量化、DLA卸载、内存复用 | TensorRT、Polygraphy | 优化前后性能对比 |
| 部署层 | 多模型调度、流水线并行、ROS2集成 | CUDA Stream、ROS2 | 端到端推理服务 |
| 实战层 | BEV感知模型部署与调优全流程 | 综合运用上述工具 | 完整项目报告 |
四、实战项目概览
本课程贯穿一个完整的实战项目：将一个典型的BEV（Bird's Eye View）感知模型部署到Orin平台，并完成性能优化。项目分为四个阶段：
- 基线部署：将PyTorch模型导出为ONNX，用TensorRT构建FP16引擎，在Orin上跑通推理，记录基线延迟与显存占用。
- 精度优化：使用INT8量化与校准集，对比FP16与INT8的精度损失，确定可接受的量化方案。
- 性能调优：分析各层耗时，进行算子融合、DLA卸载、CUDA Stream并行，目标是将端到端延迟降低40%以上。
- 工程交付：封装推理节点，集成到ROS2话题中，输出性能测试报告与部署文档。
项目基线环境示例：
# 查看Orin设备状态
tegrastats --interval 1000
# 构建TensorRT引擎（FP16）
trtexec --onnx=bev_model.onnx \
--saveEngine=bev_fp16.engine \
--fp16 \
--workspace=4096
# 运行推理并输出性能
trtexec --loadEngine=bev_fp16.engine \
--shapes=input:1x3x640x640 \
--iterations=100 \
--avgRuns=10五、常见误区与学习建议
误区一：只看算力数字，忽视内存带宽。Orin的254 TOPS是理想峰值，实际推理中内存带宽往往先成为瓶颈。优化时不能只盯着GPU利用率，还要看LPDDR5的带宽占用。
误区二：认为INT8一定比FP16快。量化会引入校准开销，且部分算子对INT8支持不完善，可能触发回退。必须实测对比，不能想当然。
误区三：忽略CPU与GPU的协同。数据预处理、后处理、内存拷贝往往在CPU上完成，若CPU成为瓶颈，GPU再快也无济于事。
学习建议：每学完一个模块，立即在Orin设备上动手验证。性能优化是一门“测量驱动”的工程，任何结论都应以实测数据为准。建议准备一份性能日志表，记录每次修改前后的延迟、显存、功耗变化，形成自己的优化经验库。
至此，你已经了解了Orin在自动驾驶系统中的定位、本课程的学习目标、知识框架以及贯穿全课的实战项目。接下来，我们将从Orin的硬件架构与算力分布开始，逐步深入每一个工程细节。