VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT显存占用分析与workspace调优教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程整体框架与学习路径
课程导入学习目标
02
TensorRT基础回顾
TensorRT推理引擎架构 · 构建期与运行期概念 · 显存管理基本机制
TensorRT基础回顾
03
显存占用来源分析
模型权重 · 激活值 · 工作空间（workspace）
显存占用来源分析模型权重
04
workspace概念详解
workspace的定义 · 作用 · 在构建期和运行期的分配方式
workspace概念详解
05
显存测量工具与方法
使用nvidia-smi · Nsight Systems · TensorRT日志
显存测量工具nvidia-smi
06
构建期workspace参数
BuilderConfig中的max… · 其与层融合和算法选择的关系
workspace构建期
07
运行期显存管理
ExecutionContext的显… · 临时缓冲区 · 激活内存的复用机制
运行期显存管理ExecutionCon…
08
workspace与性能的权衡
增大workspace对推理延迟和吞… · 如何找到最优平衡点
workspace性能的权衡
09
显存溢出常见场景
大模型 · 长序列 · 高分辨率输入导致的显存不足问题及诊断…
显存溢出常见场景大模型
10
workspace调优实战
通过修改maxWorkspaceSi… · 使用脚本自动化测试
workspace调优实战
11
层融合与显存优化
Conv+BN+ReLU等融合对显存… · 以及如何通过融合减少中间张量
层融合显存优化
12
精度选择与显存
FP32 · FP16 · INT8精度对显存占用和worksp…
精度选择显存
13
动态形状与显存
动态batch · 动态尺寸输入对workspace和显…
动态形状显存
14
显存池与内存复用
TensorRT内部显存池机制 · stream管理 · 多context共享显存的方法
显存池内存复用
15
多模型部署显存优化
多引擎加载 · 串行/并行推理时的显存共享与隔离策略
多模型部署显存优…多引擎加载
16
显存泄漏排查
使用工具检测显存泄漏 · 常见泄漏原因（如context未释放…
显存泄漏排查使用工具检测显存…
17
workspace与TensorRT版本差异
不同版本（8.x · x · x）中workspace API变化…
workspaceTensorRT
18
自定义层与workspace
添加plugin时如何管理works… · 以及plugin的workspace…
workspace自定义层
19
显存优化案例
ResNet50 · BERT · YOLO等典型模型的显存占用分析与w…
显存优化案例ResNet50
20
量化与显存
INT8量化校准过程中的显存占用 · 校准缓存与workspace的关系
量化显存
21
多流推理与显存
多stream并发推理时的显存分配策… · 以及如何避免显存竞争
多流推理显存
22
显存与CPU内存的协同
pinned memory · DMA传输对显存占用和推理性能的影响
CPU显存
23
使用TensorRT官方工具
trtexec的显存统计 · workspace参数用法及结果解读
TensorRT使用
24
显存瓶颈定位
通过profiling找出显存占用高… · 并针对性地优化
显存瓶颈定位profiling
25
workspace自动调优
基于启发式或搜索算法自动寻找最优wo…
workspace自动调优
26
容器与虚拟化环境显存
Docker · Kubernetes中显存限制对Te…
容器虚拟化环境显存
27
常见错误与解决方案
显存不足错误 · workspace设置无效 · 内存碎片等问题的处理
常见错误解决方案
28
综合实战项目
从零优化一个实际模型的显存占用 · 达到性能与显存的平衡
综合实战项目从零优化一个实际…
29
进阶技巧
使用显存复用 · 层重排序 · 模型裁剪等高级手段进一步降低显存
进阶技巧使用显存复用
30
课程总结与展望
回顾核心知识点 · 常见调优流程 · 未来TensorRT显存管理趋势
课程总结回顾核心知识点