📚 课程目录第1章课程导入

课程导入：学习目标、适用人群、课程整体框架与实战项目预览

TinyML（微型机器学习）正在重塑边缘计算的形态。当我们在STM32、ESP32、Cortex-M系列或低功耗NPU上部署模型时，面临的不是“能不能跑”的问题，而是“如何在有限的内存、算力和功耗预算内跑得更快、更省”。TensorRT作为NVIDIA推出的高性能推理优化引擎，虽然最初面向数据中心GPU设计，但其在Jetson系列边缘设备上的表现同样卓越。本课程的核心目标，是帮助你掌握一套从模型训练到TensorRT部署的完整方法论，并能在真实硬件上完成可量化的性能调优。

1.1 学习目标：从“能跑”到“跑得最优”

本课程不是简单的工具操作手册，而是一套完整的工程思维训练。完成学习后，你将具备以下四项核心能力：

深度理解TensorRT的优化机制——包括层融合（Layer Fusion）、精度校准（INT8 Calibration）、内核自动调优（Kernel Auto-tuning）以及显存复用策略。你将能够解释为什么同一个模型在TensorRT上比原始框架快3-5倍，而不是仅仅知道“它很快”。
独立完成模型转换与部署——从PyTorch/TensorFlow训练好的模型，经过ONNX中间格式，最终生成TensorRT引擎文件（.engine），并编写C++或Python推理代码。过程中能够处理动态shape、自定义算子、多batch等复杂场景。
掌握硬件资源调优方法论——针对Jetson系列（Nano、TX2、Xavier NX、Orin Nano）的不同算力等级，合理分配内存、选择DLA（深度学习加速器）或GPU执行、设置电源模式，实现性能与功耗的最优平衡。
建立量化精度保障体系——学会使用校准数据集、监控层输出分布、对比FP32与INT8的精度差异，并掌握回退策略（如混合精度、敏感层保护），确保部署后的模型满足业务精度要求。

  课程核心指标：完成本课程后，你将能够将任意TinyML模型（参数量小于10MB）在Jetson设备上实现：推理延迟降低60%以上，内存占用减少40%以上，且精度损失控制在2%以内（相对于FP32基线）。

1.2 适用人群：谁需要这门课？

本课程面向三类核心人群，每类人群的学习侧重点略有不同，但都需要具备基础的深度学习和Linux操作知识：

人群类型	背景特征	核心痛点	课程收益
嵌入式AI工程师	熟悉C/C++、ARM架构，有MCU或Linux嵌入式开发经验	模型部署后帧率不达标，内存溢出，缺乏系统调优手段	掌握TensorRT完整工具链，学会利用Jetson硬件特性
算法工程师	精通PyTorch/TensorFlow，熟悉CNN/Transformer结构	训练好的模型无法高效部署，对量化、剪枝等优化手段陌生	理解推理优化原理，能主动设计利于部署的模型结构
物联网/边缘计算架构师	负责边缘设备选型、系统架构设计、成本控制	难以评估不同硬件方案的性能边界，无法做出合理技术决策	获得硬件选型方法论，掌握性能评估基准测试方法

如果你属于以下情况，建议先补充前置知识：对深度学习基本概念（卷积、池化、全连接）不熟悉；从未使用过Linux命令行；不了解GPU的基本工作原理。本课程默认你已具备这些基础。

1.3 课程整体框架：五阶段递进式学习

课程共30章，分为五个递进阶段，每个阶段都有明确的产出物和验收标准。这种设计确保你每一步都能看到实际成果，而不是堆积概念。

阶段一：基础夯实（第1-6章）——TensorRT架构解析、ONNX模型结构、量化原理、Jetson硬件平台对比。产出物：一份硬件选型对比报告。
阶段二：工具链精通（第7-14章）——trtexec使用、Polygraphy调试、onnx-tensorrt转换器、动态shape处理、自定义插件编写。产出物：一个可复用的模型转换脚本库。
阶段三：性能调优（第15-22章）——层融合策略分析、INT8校准实战、内存池优化、多流推理、DLA协同计算。产出物：一份性能调优checklist和基准测试报告。
阶段四：实战项目（第23-27章）——三个完整项目：图像分类、目标检测、语音唤醒。每个项目都包含从数据集准备到最终部署的全流程。产出物：三个可演示的Demo。
阶段五：工程化落地（第28-30章）——模型版本管理、CI/CD集成、监控告警、OTA更新策略。产出物：一个完整的部署流水线方案。

学习建议：不要跳过阶段一直接进入实战。TensorRT的优化机制如果不理解，遇到性能瓶颈时你将无从下手。建议每章学习后，在Jetson设备上复现所有示例代码，并尝试修改参数观察效果变化。

1.4 实战项目预览：三个场景化案例

本课程设计了三个由浅入深的实战项目，覆盖不同模型类型和硬件平台，确保你能够将所学知识灵活迁移到实际工作中。

项目A：基于ResNet-18的图像分类部署（Jetson Nano）

这是入门级项目，目标是让你熟悉TensorRT的基本流程。我们将使用在ImageNet上预训练的ResNet-18模型，部署到Jetson Nano（2GB版本）上。关键挑战在于：Nano的GPU算力有限（472 GFLOPS），内存带宽仅25.6GB/s，需要精细控制内存占用。

项目关键参数：

输入分辨率：224x224x3
模型大小：44.7MB（FP32）
目标帧率：≥30 FPS
内存限制：≤800MB（含系统开销）
精度要求：Top-1准确率下降 ≤1%

你将学习如何通过INT8量化将模型压缩至11.2MB，并利用TensorRT的层融合技术将推理延迟从原始的45ms降低至12ms。同时，我们会对比不同batch size下的吞吐量表现，找到最优配置。

项目B：基于YOLOv5s的目标检测部署（Jetson Xavier NX）

目标检测是边缘AI最复杂的场景之一。YOLOv5s包含检测头和NMS后处理，部署难度显著提升。Xavier NX拥有384个CUDA核心和2个DLA引擎，我们需要决定如何分配计算任务：是全部使用GPU，还是将部分层卸载到DLA？

项目关键参数：

输入分辨率：640x640x3
模型大小：14.8MB（FP16）
目标帧率：≥25 FPS（实时视频流）
内存限制：≤1.5GB
精度要求：mAP@0.5下降 ≤2%

本项目的核心难点在于：YOLOv5s的检测头包含多个并行分支，TensorRT的图优化器可能无法自动找到最优融合方案。你需要手动分析网络结构，决定哪些层应该保持FP16精度，哪些层可以安全降为INT8。此外，NMS后处理在TensorRT中需要自定义插件实现，我们将一步步教你编写并调试。

项目C：基于TC-ResNet的语音唤醒部署（Jetson Orin Nano）

语音唤醒是典型的时序信号处理任务，对延迟极其敏感。TC-ResNet（时间卷积网络）专为低功耗设备设计，参数量仅1.2MB。Orin Nano拥有1024个CUDA核心，算力充足，但我们需要关注的是功耗和持续推理稳定性。

项目关键参数：

输入特征：40维MFCC，100帧（1秒音频）
模型大小：1.2MB（INT8）
目标延迟：≤50ms（从音频输入到唤醒信号输出）
功耗限制：≤5W（使用MAXN电源模式）
精度要求：唤醒率 ≥95%，误唤醒率 ≤0.5次/小时

这个项目将重点训练你的时序数据处理能力。TC-ResNet包含因果卷积和残差连接，TensorRT的优化器可能无法自动处理时间维度上的依赖关系。你需要手动指定输入shape为动态维度，并确保推理引擎能够处理变长的音频流。同时，我们将演示如何利用Orin Nano的电源管理功能，在性能和功耗之间找到最佳平衡点。

重要提醒：三个项目均需要你拥有对应的Jetson开发套件。如果暂时没有硬件，可以使用NVIDIA提供的云开发环境（如Jetson Cloud）进行模拟，但最终部署效果会有差异。建议至少准备一块Jetson Nano或Orin Nano开发板。

1.5 常见误区与学习路径建议

根据过往教学经验，初学者在学习TensorRT时容易陷入以下误区，需要特别注意：

误区一：认为TensorRT是万能加速器。实际上，TensorRT对模型结构有要求。例如，包含大量动态控制流（if-else）的模型无法被有效优化；某些自定义算子需要手动实现插件。理解优化边界比盲目追求加速更重要。
误区二：忽略校准数据集的重要性。INT8量化需要校准数据来统计激活值的分布。如果校准数据与真实数据分布差异过大，会导致精度严重下降。本课程将教你如何构建有效的校准数据集，并评估校准质量。
误区三：只关注GPU而忽略CPU。在Jetson平台上，CPU负责数据预处理、后处理和任务调度。如果CPU成为瓶颈，即使GPU推理再快，整体延迟依然很高。你需要学会使用NVIDIA提供的NVTX工具进行端到端性能分析。
误区四：跳过版本兼容性检查。TensorRT版本与CUDA、cuDNN、PyTorch版本存在严格对应关系。版本不匹配会导致莫名其妙的错误。本课程将提供一份经过验证的版本组合表，避免你踩坑。

最后，关于学习路径，建议你按照课程顺序学习，但可以根据自己的工作需求调整重点。如果你主要从事算法开发，可以重点学习第7-14章（工具链）和第23-27章（实战项目）；如果你更关注系统架构，可以重点学习第15-22章（性能调优）和第28-30章（工程化落地）。无论选择哪条路径，请务必完成每章后的动手练习——TensorRT是一门实践性极强的技术，只有亲手操作才能真正掌握。