01
显存碎片概述
什么是显存碎片 · 碎片产生的根本原因 · 碎片对训练推理的影响
基础核心概念
02
碎片度量指标
碎片率定义 · 最大连续块 · 碎片化指数 · 监控工具介绍
度量监控
03
内存池化技术
缓存池原理 · 预分配策略 · 伙伴系统算法 · slab分配器
池化算法
04
张量生命周期管理
引用计数 · 延迟回收 · 梯度检查点 · 显存复用
生命周期优化
05
碎片整理与压缩
显存整理算法 · 数据迁移策略 · 在线压缩 · 离线压缩
压缩整理
06
动态形状优化
动态shape问题 · padding策略 · bucket机制 · 静态化方案
动态shape
07
显存分配器调优
cudaMallocAsync · PyTorch缓存分配器 · 自定义分配器
分配器调优
08
模型并行与碎片
数据并行 · 张量并行 · 流水线并行 · 序列并行
并行分布式
09
混合精度训练
FP16/BF16 · 梯度缩放 · 显存节省分析 · 碎片影响
精度训练
10
激活值管理
激活值显存占用 · checkpointing · 重计算 · 选择性重计算
激活值重计算
11
优化器状态管理
Adam状态 · ZeRO系列 · offload策略 · 分片优化
优化器ZeRO
12
通信缓冲区管理
AllReduce缓冲区 · 通信与计算重叠 · 环形缓冲区
通信缓冲区
13
显存泄漏检测
引用循环 · 未释放张量 · 钩子泄漏 · 检测工具
泄漏检测
14
碎片模拟与仿真
碎片生成模型 · 模拟器设计 · 策略评估 · benchmark
仿真评估
15
碎片治理最佳实践
典型场景方案 · 参数调优清单 · 监控告警 · 自动化治理
实践自动化
16
碎片与显存超卖
超卖原理 · swap机制 · 优先级调度 · OOM处理
超卖调度
17
碎片与CUDA Graph
图捕获 · 图重放 · 碎片影响 · 优化技巧
CUDA Graph优化
18
碎片与异步执行
CUDA Stream · 异步拷贝 · 事件同步 · 碎片风险
异步Stream
19
碎片与多进程
MPS服务 · 进程隔离 · 共享显存 · 碎片隔离
多进程MPS
20
碎片与容器化
GPU容器 · 显存限制 · 碎片感知调度 · Kubernetes集成
容器K8s
21
碎片与虚拟化
vGPU · 显存分片 · 碎片传递 · 性能隔离
虚拟化vGPU
22
碎片与持久化服务
推理服务 · 动态batch · 碎片累积 · 定期整理
推理持久化
23
碎片与图神经网络
GNN显存模式 · 邻居采样 · 碎片特征 · 优化方案
GNN图网络
24
碎片与推荐系统
Embedding表 · 特征交互 · 碎片分布 · 大模型适配
推荐Embedding
25
碎片与视觉模型
CNN/Transformer · 特征图显存 · 碎片模式 · 优化
视觉CNN
26
碎片与强化学习
经验回放 · 多智能体 · 碎片累积 · 资源管理
强化学习RL
27
碎片与联邦学习
客户端异构 · 聚合策略 · 碎片传递 · 隐私保护
联邦学习隐私
28
碎片与自动调优
贝叶斯优化 · 强化学习调优 · 碎片感知调度 · AutoML
自动调优AutoML
29
碎片与硬件特性
HBM架构 · 显存带宽 · NUMA影响 · 下一代硬件
硬件HBM
30
碎片治理未来趋势
统一内存 · CXL互连 · 存算一体 · AI原生系统
趋势未来