1. 课程导入

欢迎进入《Orin智能驾驶推理系统与调度工程》课程。本课程面向已经具备一定深度学习与嵌入式基础、希望深入掌握NVIDIA Orin平台智能驾驶推理系统设计与调度优化的工程师。我们将从推理系统的整体架构出发，逐步深入到模型部署、算子优化、多任务调度、资源分配与实时性保障等核心工程问题，帮助学习者建立从"能跑通"到"跑得稳、跑得快、跑得省"的完整能力体系。

一、学习目标：从模型到车端的工程闭环

本课程的学习目标可以概括为四个层次。第一，理解Orin平台的硬件架构与软件栈，包括GPU、DLA、CPU、PVA等异构计算单元的职责划分，以及CUDA、TensorRT、cuDNN等软件组件在推理链路中的位置。第二，掌握推理系统的构建方法，能够将训练好的模型通过ONNX导出、TensorRT引擎构建、精度校准与量化，最终部署到Orin上稳定运行。第三，具备调度工程能力，能够针对智能驾驶中多传感器、多模型、多任务的并发场景，设计合理的任务调度策略，平衡延迟、吞吐与功耗。第四，形成性能分析与排障能力，能够使用Nsight Systems、TensorRT Profiler等工具定位瓶颈，并给出可落地的优化方案。

二、核心概念：推理系统与调度工程

在展开学习之前，需要先厘清几个贯穿全课程的核心概念。

• 推理系统：指从输入数据进入系统到输出推理结果并交付下游模块的完整软硬件链路，包含数据预处理、模型推理、后处理、结果发布等阶段。在Orin上，推理系统通常以TensorRT引擎为核心，配合CUDA核函数与DLA加速器协同工作。
• 调度工程：指在有限的计算资源下，对多个推理任务、数据流与计算单元进行时间与空间上的分配，使系统满足实时性、确定性与资源利用率要求。调度不仅涉及CPU线程调度，还包括GPU流（Stream）、DLA任务队列、内存带宽与功耗预算的协调。
• 异构计算：Orin集成了GPU、DLA、PVA、CPU等多种计算单元，不同单元擅长不同算子类型。推理系统的关键之一是把合适的算子放到合适的单元上执行。
• 实时性与确定性：智能驾驶对推理延迟有严格要求，且要求延迟抖动可控。调度工程的目标之一就是降低尾延迟，保证系统在最坏情况下的可预测性。

三、整体知识框架

本课程的知识框架可以划分为五个模块。模块一为平台基础，介绍Orin硬件架构、JetPack软件栈与开发环境搭建。模块二为推理引擎，讲解TensorRT引擎构建、ONNX解析、精度校准与量化、插件开发。模块三为部署与集成，涵盖ROS/ROS2集成、多传感器数据流、内存管理与零拷贝传输。模块四为调度工程，重点讨论多流并发、DLA与GPU协同、任务优先级、时间片分配与功耗管理。模块五为性能分析与优化，包括Nsight工具链、瓶颈定位、算子融合、批处理与流水线设计。

四、方法流程：一个典型推理任务的完整链路

为了建立工程直觉，我们先看一个典型推理任务在Orin上的完整链路。假设我们要部署一个BEV感知模型，输入为6路摄像头图像，输出为障碍物检测与车道线结果。

1. 模型导出：将PyTorch训练好的模型导出为ONNX格式，检查算子兼容性，处理动态维度。
2. 引擎构建：使用TensorRT的trtexec或Python API构建引擎，选择FP16或INT8精度，设置最大工作空间与优化配置文件。
3. 精度校准：若使用INT8，需准备校准数据集，运行校准器生成校准表，验证精度损失是否在可接受范围内。
4. 部署集成：将引擎封装为推理节点，接入ROS2数据流，实现图像预处理、推理、后处理的流水线。
5. 调度设计：为6路摄像头分配独立的CUDA流，利用DLA卸载部分卷积算子，设置任务优先级保证关键路径延迟。
6. 性能剖析：使用Nsight Systems采集时间线，定位GPU利用率、内存拷贝、DLA队列等待等瓶颈。
7. 迭代优化：根据剖析结果调整批处理大小、流数量、算子分配策略，重复验证直至满足实时性指标。

# 典型TensorRT引擎构建命令示例
trtexec --onnx=bev_perception.onnx \
        --saveEngine=bev_perception_fp16.engine \
        --fp16 \
        --workspace=4096 \
        --minShapes=input:1x6x3x256x704 \
        --optShapes=input:1x6x3x256x704 \
        --maxShapes=input:1x6x3x256x704 \
        --verbose

五、案例场景：多任务并发下的调度挑战

在真实的智能驾驶系统中，Orin往往需要同时运行多个模型：BEV感知、目标跟踪、预测规划、驾驶员监控等。这些任务对延迟的敏感度不同，计算特征也不同。例如，BEV感知对延迟极为敏感，需要每帧在50ms内完成；驾驶员监控可以容忍100ms以上的延迟；预测规划则依赖感知结果，存在数据依赖关系。

调度工程要解决的核心问题是：如何在有限的GPU、DLA和内存带宽下，让这些任务都满足各自的实时性要求。常见策略包括：为高优先级任务预留计算资源、使用CUDA流实现任务级并行、将非关键任务卸载到DLA、通过批处理提高GPU利用率、以及动态调整功耗预算以平衡性能与散热。

六、常见误区与复盘