VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT动态shape与batch size配置实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程结构
课程导入学习目标
02
TensorRT基础回顾
TensorRT推理引擎架构 · ONNX模型转换流程 · 静态shape与动态shape的区别
TensorRT基础回顾
03
动态shape核心概念
动态维度（-1） · 优化profile · binding维度
shape动态
04
环境搭建与工具准备
CUDA · cuDNN · TensorRT版本选择
环境搭建工具准备
05
ONNX模型动态shape导出
如何设置动态轴 · 使用dynamic_axes参数 · 导出示例（PyTorch
ONNXshape
06
TensorRT构建期配置
Builder配置 · Network定义 · OptimizationProfil…
TensorRT构建期配置
07
OptimizationProfile详解
min/opt/max维度设置 · 多profile管理 · profile切换机制
Optimization…min/opt/max
08
动态batch size配置
batch维度动态化 · 不同batch下的性能调优 · 显存占用分析
batchsize
09
动态shape下的显存管理
显存池 · workspace大小 · 动态分配与释放
shape动态
10
Python API实战
使用Python API构建动态sh… · 设置profile · 执行推理
PythonAPI
11
C++ API实战
使用C++ API实现动态shape… · 内存管理
C++API
12
trtexec工具使用
通过trtexec测试动态shape… · 生成引擎 · 性能基准测试
trtexec工具使用
13
Polygraphy调试
使用Polygraphy验证动态sh… · 比较不同profile输出
Polygraphy调试
14
动态shape模型推理流程
输入预处理 · 动态维度填充 · 输出后处理
shape动态
15
多profile切换实战
为不同batch size或分辨率设… · 运行时切换
profile切换实战
16
动态shape与静态shape性能对比
基准测试方法 · 性能差异分析 · 适用场景选择
shape动态
17
动态shape下的算子支持
常见算子对动态shape的支持情况 · 不支持的算子处理
shape动态
18
动态shape模型优化技巧
层融合 · 精度校准（FP16/INT8） · 动态shape下的优化策略
shape动态
19
动态shape与TensorRT插件
自定义插件处理动态shape · 插件中动态维度处理
shapeTensorRT
20
常见问题与解决方案
维度不匹配 · profile设置错误 · 显存不足
常见问题解决方案
21
动态shape在目标检测模型中的应用
YOLO系列 · Faster R-CNN等模型动态输…
shape动态
22
动态shape在NLP模型中的应用
BERT · GPT等变长序列处理 · 动态batch
shapeNLP
23
动态shape在图像分割模型中的应用
U-Net · DeepLab等不同分辨率输入
shape动态
24
动态shape与多线程推理
多线程下动态shape引擎的并发处理 · 线程安全
shape动态
25
动态shape与TensorRT服务化部署
Triton Inference S… · 模型仓库设置
shapeTensorRT
26
动态shape模型量化实战
PTQ与QAT在动态shape下的应… · 校准数据准备
shape动态
27
动态shape引擎序列化与反序列化
保存引擎 · 加载引擎 · 跨平台部署
shape动态
28
动态shape性能调优案例
实际项目中动态shape调优流程 · 性能瓶颈分析
shape动态
29
综合实战项目
从ONNX模型到动态shape Te… · 端到端推理
综合实战项目ONNX
30
课程总结与进阶方向
动态shape最佳实践 · 未来趋势 · 学习资源推荐
课程总结进阶方向