VIP20

本课程属于：022-显存优化 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存复用核心技术实战

📚 共计 30 章节

显存复用概述

什么是显存复用 · 为什么需要显存复用 · 核心思想与收益分析

显存分配与回收机制

CUDA显存分配API · 显存池基本原理 · 显存碎片化问题

CUDA内存管理

Tensor生命周期分析

张量创建与销毁 · 引用计数与垃圾回收 · Python GC对显存的影响

静态显存复用策略

计算图分析 · 张量生存期推断 · 静态内存规划算法

静态规划编译优化

动态显存复用策略

基于引用计数的复用 · LRU淘汰策略 · 最佳适配算法

显存复用中的同步与安全

CUDA Stream同步 · cudaEvent同步 · 读写冲突避免

PyTorch显存管理机制

CachingAllocator · 缓存块管理 · stream关联分配

TensorFlow显存管理机制

BFCAllocator · 区域分配 · 碎片整理

显存复用实战：手动实现显存池

从零构建简单显存池 · 分配/释放逻辑

基于计算图的静态显存规划

静态规划算法实现 · 图分析实战

静态计算图

动态显存分配器实现

动态分配器 · 最佳适配 · 回收机制

分配器动态

PyTorch CachingAllocator源码分析

源码深度解析 · 缓存块 · 分配策略

TensorFlow BFCAllocator源码分析

BFC源码 · 区域管理 · 碎片整理

多Stream下的显存复用

多流并发 · 复用策略 · 同步

混合精度训练中的显存复用

AMP · 显存复用 · 精度管理

混合精度AMP

梯度检查点与显存复用

Gradient Checkpointing · 时间换空间

检查点梯度

ZeRO优化器中的显存复用

ZeRO阶段 · 显存优化 · 分区

FlashAttention中的显存复用

FlashAttention · 显存复用 · 分块

Attention分块

vLLM PagedAttention显存管理

PagedAttention · 页式管理 · 推理优化

Megatron-LM中的显存优化

模型并行 · 显存复用 · 分布式

Megatron分布式

DeepSpeed中的显存复用

ZeRO · 显存优化器 · 通信压缩

ColossalAI中的显存复用

ColossalAI · 显存策略 · 并行

ColossalAI显存

自定义显存复用策略·LLM推理

LLM推理 · 自定义策略 · 显存规划

显存复用与计算通信重叠

计算通信重叠 · 流水线 · 显存优化

显存复用在分布式训练中的应用

分布式训练 · 显存复用 · 集合通信

分布式训练

显存复用性能分析与调优

性能分析 · 调优工具 · 显存带宽

显存泄漏检测与修复

泄漏检测 · 工具 · 修复实践

显存复用与模型量化结合

量化 · 显存复用 · 低精度

显存复用与模型剪枝结合

剪枝 · 稀疏 · 显存复用

显存复用与知识蒸馏结合

知识蒸馏 · 显存优化 · 师生模型