VIP20

本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA显存碎片与TensorRT分配策略

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · CUDA显存管理的重要性

课程导入学习目标

GPU显存基础

显存层次结构 · 显存带宽 · 显存容量与性能关系

GPU显存基础

CUDA显存分配API

cudaMalloc · cudaFree · cudaMallocManaged等…

显存碎片化概念

内部碎片与外部碎片 · 碎片产生的原因

显存碎片化概念内部碎片

显存碎片化影响

性能下降 · 内存不足错误 · 系统稳定性问题

显存碎片化影响性能下降

显存碎片化度量

碎片率计算 · 内存池利用率 · 监控工具

显存碎片化度量碎片率计算

显存分配策略概述

常见分配策略及其优缺点

显存分配策略概述常见分配策略

内存池技术

内存池原理 · 池化分配与释放 · 池大小管理

内存池技术内存池原理

CUDA内存池API

cudaMemPoolCreate · cudaMemPoolSetAttr…

TensorRT内存管理机制

TensorRT的显存分配与释放流程

TensorRT内存管理机制

TensorRT内存池配置

workspace size设置 · 优化策略

TensorRT内存池配置

TensorRT中的显存碎片问题

实际案例分析与影响

TensorRT显存碎片问题

显存碎片优化方法

内存对齐 · 内存复用 · 内存压缩

显存碎片优化方法内存对齐

显存分配策略选择

根据应用场景选择合适策略

显存分配策略选择根据应用场景选择…

显存碎片模拟与实验

使用CUDA工具模拟碎片化过程

显存碎片模拟实验

显存碎片检测工具

NVIDIA Nsight · CUDA-MEMCHECK等

显存碎片检测工具NVIDIA

TensorRT性能调优

通过调整分配策略提升推理性能

TensorRT性能调优

多流与多上下文显存管理

多流并发下的显存分配与碎片控制

多流多上下文显存管理

显存碎片与深度学习训练

训练过程中的显存碎片问题及解决

显存碎片深度学习训练

显存碎片与推理部署

部署场景下的显存优化实践

显存碎片推理部署

显存碎片与多GPU系统

多GPU环境下的显存分配策略

GPU显存碎片

显存碎片与虚拟化

GPU虚拟化中的显存管理挑战

显存碎片虚拟化

显存碎片与容器化

Docker等容器中的显存分配策略

显存碎片容器化

显存碎片与CUDA Graphs

图捕获与重放对显存碎片的影响

显存碎片与统一内存

统一内存的碎片问题及优化

显存碎片统一内存

显存碎片与持久化内存

持久化内存的分配策略

显存碎片持久化内存

显存碎片与实时系统

实时性要求下的显存分配策略

显存碎片实时系统

显存碎片与安全

防止显存越界与碎片攻击

显存碎片安全

构建一个显存碎片优化方案并评估效果

综合实战构建一个显存碎片…

核心要点回顾 · 最佳实践 · 未来趋势

课程总结核心要点回顾