VIP20

本课程属于：031-Edge AI GPU加速与TensorRT部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

5. TensorRT动态Shape：Optimization Profile配置方法

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

动态Shape在TensorRT中的… · 课程目标 · 适用人群与学习路径

课程导入Shape

静态Shape与动态Shape的区别 · 动态Shape的典型应用场景（如NL… · 检测多分辨率）

基础概念Shape

TensorRT动态Shape核心机制

Optimization Profi… · Profile与Engine的关系 · 多Profile支持

动态Shape的维度表示

-1维度的含义 · 动态维度与静态维度的混合使用 · 维度约束规则

构建期配置

使用C++ API设置动态Shape… · 使用Python API构建动态En…

构建期配置C++

ONNX模型动态Shape处理

ONNX动态轴的定义 · 使用onnx-surgeon或onn… · 导出动态ONNX的注意事项

TensorRT API详解

BuilderConfig · OptimizationProfil… · setDimensions与setS…

多Profile配置

何时需要多个Profile · 多Profile的创建与绑定 · 运行时选择Profile的方法

动态Shape的显存管理

优化Profile对显存分配的影响 · workspace大小与动态Shap…

动态Shape的推理流程

ExecutionContext的输… · setInputShape与exec… · 动态Shape下的内存复用

使用Python API构建支持动态…

实战案例1Python

处理变长序列（如BERT）的动态Sh… · 配置min/opt/max为[1 · 1

实战案例2BERT

多分辨率目标检测模型的动态Shape… · 实现任意输入尺寸推理

实战案例3Shape

动态Shape与TensorRT插件

自定义插件中动态Shape的处理 · 插件维度推断与校验

动态Shape的精度与性能

动态Shape对TensorRT优化… · 内核选择）的影响 · 性能调优策略

常见错误与调试

维度不匹配错误 · Profile范围设置不当导致的运行… · 如何定位问题

常见错误调试

动态Shape与TensorRT版本差异

不同TensorRT版本（8.x/9…

动态Shape与量化

动态Shape下INT8/FP16量… · 校准与动态Shape的兼容性

动态Shape与多线程

多线程推理时动态Shape的线程安全 · Profile切换与上下文管理

动态Shape与TensorRT-LLM

大语言模型中的动态Shape处理 · KV Cache动态维度配置

ShapeTensorRT-LLM

动态Shape与TensorRT的图优化

动态Shape下自动调优（如tact… · 如何利用timing cache

动态Shape的序列化与反序列化

动态Engine的序列化 · 反序列化后Profile信息的保留与…

动态Shape与DLA（深度学习加速器）

DLA对动态Shape的限制 · 如何配置DLA与动态Shape共存

动态Shape的测试策略

如何设计覆盖min/opt/max的… · 边界值测试 · 性能回归测试

动态Shape与TensorRT的C++部署

在C++服务中集成动态Shape E… · 动态Shape下的内存池管理

动态Shape与TensorRT的Python部署

在Python服务中集成动态Shap… · 与PyTorch/TensorFlo…

动态Shape的进阶技巧

使用动态Shape实现NMS等后处理 · 动态Shape与循环网络（RNN）的…

动态Shape的常见问题汇总

Profile冲突 · 维度推断失败 · 性能下降

综合实战项目

从零构建一个支持动态Shape的推理… · 包含模型转换 · Profile配置

综合实战项目Shape

课程总结与展望

动态Shape的最佳实践总结 · TensorRT未来动态Shape发… · 进一步学习资源

课程总结Shape