📚 课程目录第1章课程导入与工程全景

1. 课程导入与工程全景

NVIDIA IGX 是面向工业与医疗边缘场景的计算平台，它把 Jetson 级别的低功耗算力、功能安全机制、长期供货承诺和工业级 I/O 集成在同一套软硬件体系中。与通用数据中心 GPU 不同，IGX 的设计目标不是追求峰值吞吐，而是在振动、宽温、电磁干扰和长生命周期运行的条件下，稳定地完成实时感知、推理与决策。理解这一点，是理解本课程全部工程取舍的起点。

在 IGX 的软件栈中，TensorRT 承担的是"把训练好的网络变成可预测延迟的推理引擎"这一角色。PyTorch 或 ONNX 模型描述的是数学运算，而 TensorRT 通过层融合、精度校准、内核自动调优和张量内存复用，把它编译成针对具体 GPU 架构与具体输入尺寸的执行计划。对实时系统而言，关键指标往往不是平均帧率，而是 P99 延迟与抖动：一个 30 FPS 的相机若每帧预算 33 ms，那么任何一次超过 33 ms 的推理都会造成丢帧，进而影响下游控制回路的稳定性。TensorRT 的价值正在于把这种尾部延迟压到可测量、可复现的范围。

端到端部署链路

一个完整的 IGX 实时推理部署，通常要穿过下面这条链路：模型从训练框架导出为 ONNX；在目标或同架构设备上用 trtexec 或 TensorRT API 构建引擎；引擎序列化后随容器镜像分发到 IGX 设备；运行时由 DeepStream 或自研 GStreamer 管线完成解码、预处理、推理、后处理与输出；最后通过 Nsight Systems、tegrastats 和 TensorRT 的 profiling 接口观察延迟与功耗。这条链路上任何一环的参数不匹配——例如构建时的输入尺寸与运行时的实际分辨率不一致——都会导致引擎重建或性能骤降。

为什么选择 IGX 而不是通用边缘盒子

工业现场的部署约束与办公室环境差异很大。一台产线质检设备可能要求连续运行五年以上，期间不能更换主板；医疗影像设备需要通过 IEC 62304 相关的软件生命周期管理；AGV 上的控制器要在 -20°C 到 60°C 的范围内工作。IGX 的硬件与 JetPack/L4T 软件栈提供了十年以上的供货与安全更新路径，并支持安全启动、加密存储和冗余通信等机制。这些特性不会直接提升推理速度，但决定了系统能否真正落地并通过认证。

从工程角度看，IGX 上的 TensorRT 部署与 Jetson 高度同源，因此本课程的大部分实验可以在 Jetson Orin 设备上完成，再迁移到 IGX。需要特别注意的是，TensorRT 引擎与 GPU 架构、CUDA 版本、TensorRT 版本强绑定。在 Orin 上构建的 .plan 文件不能直接在 Xavier 或不同 JetPack 版本的设备上加载。因此工程上通常采用"在目标设备上构建"或"在相同架构的构建机上构建"两种策略，并把构建环境固化为容器镜像。

课程实战项目

本课程围绕一个贯穿始终的实战项目展开：在 IGX 或 Jetson Orin 平台上，部署一条多路视频实时目标检测管线。项目输入为 4 路 1080p RTSP 视频流，模型选用 YOLO 系列检测网络，推理精度从 FP32 逐步优化到 INT8，最终要求单路端到端延迟 P99 不超过 40 ms，整机功耗不超过 30 W。项目会依次经历环境搭建、模型导出、引擎构建、DeepStream 管线集成、多流并发调优、精度验证和性能剖析七个阶段。

为了让读者对参数有具体感知，这里给出一个示例性的构建命令。假设已导出 yolov8s.onnx，输入为 1×3×640×640，在 Orin 上构建 FP16 引擎：

trtexec --onnx=yolov8s.onnx \
        --saveEngine=yolov8s_fp16.plan \
        --fp16 \
        --minShapes=images:1x3x640x640 \
        --optShapes=images:1x3x640x640 \
        --maxShapes=images:4x3x640x640 \
        --workspace=2048 \
        --verbose

其中 minShapes/optShapes/maxShapes 定义了动态形状范围，optShapes 是性能最优的尺寸，maxShapes 决定显存上限。构建完成后，用同一命令加载引擎并跑基准测试，观察 Throughput 与 GPU Compute Time 两项指标。若 P99 延迟明显高于 GPU Compute Time，说明瓶颈可能在前处理、内存拷贝或后处理，而不是推理本身。

构建引擎时建议固定 TensorRT 版本并记录在案。升级 JetPack 后应重新构建所有引擎，不要复用旧 .plan 文件，否则可能出现加载失败或精度异常。

学习路径与前置知识

本课程假设读者已经掌握 Linux 基本操作、Python 编程和深度学习推理的基本概念，了解卷积网络的结构与常见检测模型。如果尚未接触过 CUDA 或 TensorRT，不必担心，课程会从 ONNX 导出和 trtexec 使用讲起。真正需要提前建立的是"延迟预算"意识：在实时系统里，每一个处理环节都要问一句"它占用了多少毫秒"，而不是"它能不能跑通"。

接下来的章节会按照"平台认知—环境搭建—模型转换—引擎优化—管线集成—性能剖析—工程交付"的顺序推进。每一节都会给出可执行的命令、可观察的指标和判断标准，帮助读者把知识转化为能在真实设备上复现的操作。