课程导入：学习目标、核心概念、整体框架
欢迎进入《TensorRT引擎构建与CUDA流调度》课程。在深度学习推理的工程化落地中，模型训练完成只是第一步，真正的挑战在于如何将训练好的模型高效地部署到生产环境。TensorRT作为NVIDIA推出的高性能推理优化引擎，配合CUDA流（Stream）的精细调度，能够将GPU的算力潜力发挥到极致。本节作为课程的开篇，将为你勾勒出整门课程的学习地图，明确核心概念与知识框架。
1. 学习目标：从“能跑”到“跑得快”
完成本课程后，你将具备以下核心能力：
- 理解TensorRT的优化原理：掌握层融合、精度校准（FP16/INT8）、内核自动调优等关键机制，明白为什么TensorRT能比原生框架快数倍。
- 掌握引擎构建全流程：能够独立完成从模型导出（ONNX/PyTorch）→ 构建引擎（Builder）→ 序列化/反序列化（Plan文件）→ 推理部署的完整链路。
- 精通CUDA流调度：理解默认流与多流的区别，掌握事件（Event）同步、异步拷贝与内核并发执行，能够设计多流流水线以隐藏数据传输延迟。
- 具备性能调优与排障能力：能够使用Nsight Systems、TensorRT自带的Profiler等工具定位性能瓶颈，并针对常见错误（如形状不匹配、显存不足）进行有效排查。
2. 核心概念：引擎与流的双轮驱动
本课程围绕两个核心对象展开：TensorRT引擎（Engine）与CUDA流（Stream）。二者相辅相成：引擎负责定义“计算的最优方式”，而流则负责安排“计算何时何地执行”。
TensorRT引擎并非简单的模型文件，而是一个经过深度优化的、可执行的推理计划。它包含：
- 网络定义（Network Definition）：计算图的拓扑结构，但已被优化和重排。
- 优化后的内核（Kernels）：针对目标GPU架构（如Ampere、Ada Lovelace）自动选择的卷积、矩阵乘等算子实现。
- 权重与常量（Weights & Constants）：经过精度校准后的模型参数。
- 执行上下文（ExecutionContext）：引擎的运行时实例，持有中间激活值的内存。
CUDA流则是一个按顺序执行的GPU操作队列。将不同的计算任务（如H2D拷贝、内核计算、D2H拷贝）放入不同的流中，可以实现任务间的重叠执行，从而最大化GPU利用率。
3. 整体框架：五阶段递进式学习路径
本课程共30章，按照“基础→构建→调度→优化→实战”的逻辑递进，分为五个阶段。下表展示了各阶段的核心主题与关键产出：
| 阶段 | 章节范围 | 核心主题 | 关键产出 |
|---|---|---|---|
| 一、基础篇 | 第1-5章 | TensorRT架构、CUDA流基础、内存管理 | 理解引擎与流的底层交互 |
| 二、构建篇 | 第6-12章 | ONNX解析、Builder配置、精度校准、动态形状 | 生成可部署的Plan文件 |
| 三、调度篇 | 第13-19章 | 多流并发、事件同步、异步推理、流水线设计 | 实现高吞吐推理服务 |
| 四、优化篇 | 第20-25章 | 性能分析、内核调优、显存优化、图优化 | 定位并消除性能瓶颈 |
| 五、实战篇 | 第26-30章 | 多模型部署、视频流处理、生产环境监控 | 构建完整的推理系统 |
4. 典型场景：为什么需要同时关注引擎与流？
以一个典型的实时视频流目标检测服务为例：视频流以30FPS到达，每帧需要经过预处理（缩放、归一化）、模型推理（TensorRT引擎）、后处理（NMS）三个步骤。如果采用最简单的同步方式，GPU在等待数据拷贝时处于空闲状态，推理吞吐量将严重受限。
正确的做法是：
- 将预处理放入Stream 1，负责当前帧的H2D拷贝与图像变换。
- 将TensorRT引擎推理放入Stream 2，处理上一帧的模型计算。
- 将后处理放入Stream 3，完成更早帧的NMS与结果输出。
通过事件（Event）将三个流串联成流水线，GPU的拷贝引擎与计算引擎可以同时工作，从而将吞吐量提升2-3倍。这正是本课程要传授的核心技能——引擎决定了单次推理的下限，而流调度决定了系统整体的上限。
5. 常见误区与学习建议
误区二：忽略CUDA流的作用。很多开发者只关注引擎本身，却不知道默认流（Default Stream）会强制所有操作串行化，白白浪费了GPU的并发能力。
误区三：盲目追求INT8量化。INT8虽然能带来近2倍的加速，但需要充分的校准数据集，否则可能造成精度损失超过可接受范围。
学习建议：每章内容都配有可运行的代码示例与实验任务。建议你在学习过程中，使用nvidia-smi和Nsight Systems实时观察GPU利用率与流执行情况，将理论知识与实际现象对应起来。遇到问题时，优先查阅TensorRT官方文档中的Release Notes与Best Practices章节。
现在，让我们从TensorRT的架构与CUDA流的基础概念开始，一步步构建起高性能推理的完整知识体系。