VIP20

本课程属于：035-工业缺陷检测模型移植实战 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

边缘端TensorRT优化与部署指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是TensorRT？为什么边缘端…

在Jetson Nano/Orin上… · 验证CUDA和cuDNN版本兼容性 · 配置Python/C++开发环境

环境搭建Jetson

模型序列化基础

理解ONNX作为中间格式 · 使用torch.onnx.expor… · ONNX-Simplifier优化模…

模型序列化基础ONNX

TensorRT API入门

创建Runtime和Logger · 使用trtexec工具快速转换模型 · 解析engine文件的序列化与反序列…

网络定义与构建

使用INetworkDefiniti… · 添加输入张量和全连接层 · 设置权重和偏置

网络定义构建

Builder与Config详解

配置BuilderFlag（FP16… · 设置工作空间大小 · 优化性能策略（DLA

Engine与Context

创建ICudaEngine和IExe… · 理解绑定索引与张量名称的关系 · 执行同步/异步推理

使用GPU内存池 · 管理Host和Device内存 · 利用cudaMalloc和cudaM…

内存管理GPU

FP16与INT8量化

为什么需要量化？校准集的选择与准备 · 使用INT8 Calibrator进… · 处理精度损失

动态形状（Dynamic Shapes）

配置优化轮廓（Optimizatio… · 处理可变批量大小和可变输入尺寸 · 设置K/D/M参数

插件开发（Plugin）

何时需要自定义插件？编写IPlugi… · 注册插件到TensorRT · 在ONNX图中集成

Plugin插件开发

多流推理（Multi-Stream）

使用CUDA Stream实现并发推… · 管理多个Context · 避免资源竞争

Multi-Stream多流推理

异步推理与事件同步

使用CUDA Events进行时间戳… · 实现生产者-消费者模式 · 降低延迟

异步推理事件同步

模型解析器

使用ONNX Parser解析ONN… · 处理自定义算子 · 调试解析错误

模型解析器ONNX

C++部署实战

编写C++推理管线 · 加载engine文件 · 预处理（Resize/Normali…

C++部署实战

Python部署实战

使用PyTorch与TensorRT… · 利用torch2trt或torch_… · 快速验证推理结果

Python部署实战

性能分析工具

使用NVIDIA Nsight Sy… · 使用trtexec --profil… · 定位瓶颈

性能分析工具NVIDIA

层融合与内核调优

理解自动融合策略（Conv+Bias… · 手动调整内核参数 · 使用tactic sources

层融合内核调优

减少显存占用 · 使用Inference with Z… · 利用Pinned Memory加速传…

内存优化减少显存占用

边缘端硬件适配

针对Jetson的DLA（深度学习加… · 使用DLA进行低功耗推理 · 限制与注意事项

边缘端硬件适配Jetson

多模型管线

串联多个engine · 共享Context与内存 · 实现级联推理（如检测+分类）

多模型管线engine

模型安全与加密

对engine文件进行加密 · 运行时解密加载 · 防止模型窃取

模型安全加密

版本兼容性

处理TensorRT 7/8/10之… · 迁移旧代码 · 使用兼容层

版本兼容性TensorRT

调试与日志

设置Logger Severity · 解析错误码 · 使用断点调试自定义插件

边缘端部署框架

使用DeepStream SDK集成… · 构建视频分析管线 · 配置NvInfer元素

边缘端部署框架DeepStream

容器化部署

使用NVIDIA L4T容器 · 构建Docker镜像 · 挂载GPU设备

容器化部署NVIDIA

持续集成与自动化

编写CI脚本自动构建engine · 使用Git LFS管理大模型文件 · 版本控制

持续集成自动化

实战案例一

图像分类（ResNet-50） · FP16优化 · 在Jetson上达到实时

实战案例一ResNet-50

实战案例二

目标检测（YOLOv8） · INT8量化 · 优化预处理流水线

实战案例二YOLOv8

实战案例三

语义分割（DeepLabV3） · 动态形状适配 · 内存优化技巧

实战案例三DeepLabV3