VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT动态Shape与多Profile部署

共计 30 章节
可可资料掘金营 · 点击在线试看
01
动态Shape部署问题导入
目标=从固定Shape到动态Shap… · TensorRT动态Shape能力边… · 多Profile部署需求场景
Shape动态
02
TensorRT构建动态Shape引擎的核心流程
目标=ONNX模型输入输出动态轴设置 · Builder与Network配置 · OptimizationProfil…
TensorRTShape
03
OptimizationProfile参数详解
目标=min/opt/max sha… · 多输入多输出Profile维度约束 · shape tensor与execu…
Optimization…参数详解
04
动态Shape下的显存与计算图优化
目标=动态范围对kernel选择的影… · workspace大小估算 · 动态shape导致的tactic重选…
Shape动态
05
多Profile机制与运行时切换
目标=多Profile的创建 · 绑定与切换API · profile索引与输入shape匹…
Profile机制
06
ONNX导出与动态轴标注实战
目标=使用PyTorch导出带动态维… · 动态轴命名与维度约束 · 常见导出错误与修复
ONNX导出
07
TensorRT Python API构建动态Shape引擎
目标=Builder · Network · Config
TensorRTPython
08
TensorRT C++ API构建动态Shape引擎
目标=C++接口差异 · 内存管理 · Profile配置与引擎构建的工程化…
TensorRTC++
09
动态Shape推理上下文设置
目标=setInputShape与s… · 执行上下文与Profile绑定 · 动态shape下的内存分配
Shape动态
10
多Profile推理调度实战
目标=为不同batch size和分… · 运行时根据输入选择最优Profile · 性能对比与调优
Profile推理调度实战
11
动态Shape下的数据预处理与后处理
目标=动态输入尺寸的预处理适配 · 输出shape解析 · 动态后处理逻辑实现
Shape动态
12
动态Shape与CUDA Graph结合
目标=CUDA Graph捕获动态s… · 多Profile下的Graph实例化 · 性能收益与注意事项
ShapeCUDA
13
动态Shape下的INT8量化部署
目标=校准过程中的动态shape处理 · 多Profile量化校准 · 量化精度与性能权衡
ShapeINT8
14
动态Shape下的FP16与BF16部署
目标=精度选择对动态shape的影响 · 多Profile精度一致性 · 混合精度策略
ShapeFP16
15
动态Shape引擎的显存优化
目标=动态shape显存池管理 · 多Profile显存复用 · workspace与activati…
Shape动态
16
动态Shape下的插件开发与使用
目标=自定义插件对动态shape的支… · 插件shape推断 · 多Profile插件配置
Shape动态
17
动态Shape与DLA部署
目标=DLA对动态shape的支持限… · 多Profile在DLA上的配置 · 异构调度策略
ShapeDLA
18
动态Shape推理性能分析
目标=使用trtexec与Nsigh… · 多Profile性能对比 · 瓶颈定位与优化
Shape动态
19
动态Shape下的批处理策略
目标=动态batch与多Profil… · 批处理调度 · 吞吐量与延迟权衡
Shape动态
20
动态Shape多Profile在视频流推理中的应用
目标=多分辨率视频输入 · 动态batch与profile切换 · 实时性保障
ShapeProfile
21
动态Shape多Profile在NLP模型部署中的应用
目标=变长序列输入 · 动态shape与profile设计 · 注意力机制优化
ShapeProfile
22
动态Shape多Profile在检测模型部署中的应用
目标=多尺度输入 · 动态shape与profile配置 · 后处理适配
ShapeProfile
23
动态Shape多Profile在分割模型部署中的应用
目标=动态分辨率输入 · 多Profile输出解析 · 内存与性能优化
ShapeProfile
24
动态Shape引擎的版本兼容与迁移
目标=TensorRT版本差异 · ONNX opset兼容 · 多Profile配置迁移
Shape动态
25
动态Shape多Profile部署的自动化测试
目标=构建与推理测试用例设计 · 多Profile覆盖测试 · 性能回归测试
ShapeProfile
26
动态Shape多Profile服务的容器化部署
目标=Docker镜像构建 · TensorRT运行时依赖 · 多Profile服务配置
ShapeProfile
27
动态Shape多Profile在Triton Inference Server中的部署
目标=模型配置 · 多Profile与动态批处理 · 实例组与调度策略
ShapeProfile
28
动态Shape多Profile部署的监控与运维
目标=推理延迟与吞吐监控 · Profile切换日志 · 异常处理与自动恢复
ShapeProfile
29
动态Shape多Profile部署综合实战
目标=从ONNX到多Profile引… · 服务封装 · 性能调优与压力测试
ShapeProfile
30
动态Shape多Profile部署前沿与最佳实践
目标=TensorRT新特性 · 动态shape优化趋势 · 多Profile工程经验总结
ShapeProfile