VIP20
本课程属于：031-Edge AI GPU加速与TensorRT部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

1. TensorRT入门：Edge AI GPU推理加速完整流程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · Edge AI与GPU推理加速的行业…
课程导入学习目标
02
环境搭建
NVIDIA驱动 · CUDA · cuDNN
环境搭建NVIDIA
03
TensorRT核心概念
引擎（Engine） · 上下文（Context） · 张量（Tensor）
TensorRT核心概念
04
模型转换流程
从PyTorch/TensorFlo… · polygraphy）
模型转换流程PyTorch/Tens…
05
ONNX基础与导出
如何将PyTorch模型正确导出为O… · 处理动态轴 · 算子兼容性等常见问题
ONNX导出
06
trtexec命令行工具
使用trtexec进行模型转换 · 精度测试 · 性能基准测试和日志分析
trtexec命令行工具
07
TensorRT API入门
C++和Python API的基本结… · 创建Builder · Network
TensorRTAPI
08
构建引擎
从ONNX构建TensorRT引擎的… · 包括配置优化级别 · 工作空间大小和精度设置
构建引擎ONNX
09
推理执行
使用TensorRT引擎进行前向推理 · 管理输入输出缓冲区 · 同步与异步执行
推理执行TensorRT
10
内存管理
TensorRT中的显存分配 · 绑定（Binding） · DLA（深度学习加速器）内存与主机内…
内存管理TensorRT
11
FP16与INT8量化
低精度推理的原理 · 校准（Calibration）流程 · 精度损失评估与优化技巧
FP16INT8
12
动态形状（Dynamic Shapes）
处理可变输入尺寸 · 设置优化轮廓（Optimizatio…
DynamicShapes
13
多流推理与并发
使用CUDA流（Stream）和Te…
多流推理并发
14
TensorRT插件（Plugin）
自定义算子的开发流程 · 注册方法 · 以及如何集成到TensorRT中
TensorRTPlugin
15
性能分析
使用NVIDIA Nsight Sy… · Nsight Compute和Ten…
性能分析NVIDIA
16
精度调试
对比TensorRT与原始框架的输出… · 使用Polygraphy进行逐层比对…
精度调试TensorRT
17
Edge AI硬件适配
Jetson系列（Nano/TX2/… · 包括DLA和低功耗模式
EdgeAI
18
案例实战
图像分类模型（ResNet）的Ten… · 从ONNX到引擎再到推理测试
案例实战ResNet
19
案例实战
目标检测模型（YOLOv5/v8）的… · 包括NMS后处理 · 动态批处理与INT8量化
案例实战YOLOv5/v8
20
案例实战
语义分割模型（DeepLabV3）的… · 处理多输出和上采样层
案例实战DeepLabV3
21
案例实战
自然语言处理模型（BERT）的Ten… · 包括动态序列长度和注意力机制优化
案例实战BERT
22
TensorRT与深度学习框架集成
在PyTorch/TensorFlo… · 实现端到端推理流水线
TensorRT深度学习框架集成
23
TensorRT与推理服务器
使用Triton Inference… · 实现动态批处理和模型管理
TensorRT推理服务器
24
常见错误与解决方案
解析转换失败 · 精度异常 · 内存不足
常见错误解决方案
25
性能调优策略
层融合 · 内核自动调优 · 工作空间调整
性能调优策略层融合
26
模型压缩与剪枝
结合TensorRT的稀疏化 · 权重剪枝和知识蒸馏 · 进一步提升推理速度
模型压缩剪枝
27
多模型管理与流水线
在Edge设备上同时部署多个Tens… · 实现任务调度和资源共享
多模型管理流水线
28
安全与可靠性
模型加密 · 引擎版本管理 · 异常处理
安全可靠性
29
综合项目
构建一个完整的Edge AI推理系统 · 包括视频流接入 · TensorRT加速
综合项目Edge
30
课程总结与进阶路径
回顾核心知识点 · 推荐学习资源 · 探讨TensorRT与未来AI芯片的…
课程总结进阶路径