VIP20

本课程属于：031-Edge AI GPU加速与TensorRT部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

11. TensorRT显存优化：Workspace、Buffer复用与Batch选择

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

了解TensorRT显存优化的整体目… · 学习路径 · 以及Workspace

课程导入TensorRT

理解GPU显存架构 · 显存带宽 · 显存容量与推理延迟的关系

显存基础GPU

Workspace概念

掌握TensorRT中Workspa… · 作用 · 以及它如何影响层融合和算法选择

Workspace概念

Workspace配置

学习如何通过BuilderConfi… · 理解不同大小对构建期和运行期的影响

Workspace配置

Workspace与算法选择

分析Workspace大小如何影响T… · 反卷积 · 矩阵乘等实现算法

Workspace算法选择

Workspace与层融合

探讨Workspace对层融合（如C… · 以及融合后显存占用的变化

Workspace层融合

Workspace调优实践

通过实际案例演示如何逐步调整Work… · 观察显存占用和推理速度的变化 · 找到最优配置

Workspace调优实践

Buffer复用基础

理解TensorRT中Buffer（… · 以及为什么需要复用Buffer来减少…

Buffer复用基础

TensorRT内存池机制

学习TensorRT内部的内存池（M… · 包括线性分配 · 环形分配等策略

TensorRT内存池机制

显存峰值分析

掌握如何分析推理过程中的显存峰值 · 识别哪些中间张量占用了大量显存

显存峰值分析掌握如何分析推理…

Buffer复用策略

学习TensorRT如何通过张量生命… · 以及如何手动干预复用策略

Buffer复用策略

显存优化API

掌握TensorRT中与显存优化相关… · 如IGpuAllocator · setMemoryPoolLimit…

API显存优化

自定义显存分配器

学习如何实现自定义GPU内存分配器 · 以适配特定场景下的显存管理需求

自定义显存分配器GPU

显存碎片化问题

理解显存碎片化的成因 · 影响 · 以及TensorRT如何缓解碎片化问…

显存碎片化问题理解显存碎片化的…

Batch选择基础

掌握Batch Size对显存占用和… · 理解静态Batch与动态Batch的…

Batch选择基础

静态Batch优化

学习如何针对固定Batch Size… · 包括层融合 · 算法选择等

动态Batch处理

掌握TensorRT中动态Shape… · 以及动态Batch下的显存管理策略

Batch与显存权衡

分析不同Batch Size下显存占… · 学习如何选择最优Batch Size

Batch显存权衡

Batch与Workspace协同

探讨Batch Size变化时Wor… · 以及两者对性能的联合影响

图像分类模型：以ResNet为例 · 演示如何通过调整Workspace和…

实战案例ResNet

目标检测模型：以YOLOv5为例 · 分析多输出 · 多尺度特征图下的Buffer复用和显…

实战案例YOLOv5

NLP模型：以BERT为例 · 讲解Transformer结构中显存… · 包括KV Cache的显存管理

实战案例NLP

显存监控工具

学习使用nvidia-smi · Nsight Systems · TensorRT Profiler等…

显存监控工具nvidia-smi

显存不足 · 以及如何通过调整Workspace · Batch和Buffer复用解决

常见问题显存不足

性能下降 · 如过度限制Workspace导致算法…

常见问题性能下降

动态Shape下的显存波动 · 峰值过高的问题

常见问题Shape

多流推理 · 复用Buffer · 并优化Workspace分配

高级技巧多流推理

量化与显存 · 以及量化后Workspace和Buf…

高级技巧量化

端到端优化：从模型导出 · TensorRT构建 · 推理部署全流程

综合实战端到端优化

课程总结与展望

回顾核心知识点 · 总结显存优化的最佳实践 · 并展望TensorRT未来显存管理的…

课程总结回顾核心知识点