VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT模型profile选择与推理吞吐优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · TensorRT在推理优化中的角色与…
课程导入学习目标
02
TensorRT基础回顾
核心组件（Builder · Network · Engine
TensorRT基础回顾
03
Profile概念入门
什么是Profile · 为什么需要Profile · Profile与Engine的关系
Profile概念入门
04
Profile的创建与配置
创建Profile · 设置输入输出动态维度 · 绑定内存与张量
Profile的创建
05
多Profile管理
多Profile的用途 · 切换机制 · 内存开销与性能权衡
Profile管理
06
动态形状与Profile
动态形状场景下的Profile设计 · 优化策略与常见陷阱
Profile动态形状
07
Profile选择策略
基于输入形状分布 · 批量大小 · 硬件特性选择最优Profile
Profile选择策略
08
Profile自动选择
运行时动态选择Profile的算法与…
Profile自动选择
09
吞吐量优化基础
吞吐量定义 · 影响吞吐的关键因素（计算 · 内存
吞吐量优化基础吞吐量定义
10
TensorRT性能分析工具
NVIDIA Nsight Syst… · Nsight Compute · TensorRT自带的profile…
TensorRT性能分析工具
11
使用TensorRT Profiler定位瓶颈
分析层时间 · 内存带宽 · 内核启动开销
TensorRTProfiler
12
批处理优化
动态批处理 · 静态批处理 · 批处理大小对吞吐的影响
批处理优化动态批处理
13
并发推理优化
多Context并行 · 多Stream · 多线程推理架构设计
并发推理优化Context
14
内存优化
内存池 · 张量内存复用 · 减少内存拷贝与碎片
内存优化内存池
15
精度与吞吐权衡
FP32 · FP16 · INT8
精度吞吐权衡
16
INT8量化与吞吐
量化原理 · 校准数据集 · 动态范围设置
INT8量化
17
层融合与图优化
TensorRT自动融合 · 手动调整网络结构以提升吞吐
层融合图优化
18
算子选择与替代
使用高效算子 · 避免低效算子 · 自定义插件优化
算子选择替代
19
硬件特性利用
GPU架构（Ampere · Hopper等） · Tensor Core
硬件特性利用GPU
20
Profile与吞吐联合优化
如何通过Profile选择直接提升吞…
Profile吞吐联合优化
21
案例实战
图像分类模型（ResNet）的Pro…
案例实战ResNet
22
案例实战
目标检测模型（YOLO）的Profi…
案例实战YOLO
23
案例实战
NLP模型（BERT）的动态形状Pr…
案例实战NLP
24
案例实战
多模型服务场景下的Profile管理…
案例实战Profile
25
常见问题与解决方案
Profile切换开销 · 内存不足 · 动态形状性能下降
常见问题解决方案
26
性能调优方法论
从Profiling到优化的系统化流…
性能调优方法论Profiling
27
自动化工具与脚本
编写自动化Profile选择与吞吐测…
自动化工具脚本
28
部署环境优化
容器化 · GPU共享 · 推理服务器（Triton）集成
部署环境优化容器化
29
综合实战项目
构建一个完整的TensorRT推理服… · 实现Profile自动选择与吞吐最大…
综合实战项目TensorRT
30
课程总结与进阶方向
回顾核心要点 · 推荐学习资源 · 未来趋势（如TensorRT-LLM…
课程总结进阶方向