01
显存碎片问题概述
什么是显存碎片 · 碎片产生的根本原因 · 对训练推理的影响
基础概念
02
碎片治理工具全景
主流工具对比 (NVIDIA vs PyTorch vs 自研) · 选型建议
工具对比
03
环境准备与安装
CUDA Toolkit版本要求 · Python依赖 · Docker镜像构建
环境安装
04
工具核心概念
内存池 · Block · Segment · Allocator
原理内存
05
基础诊断命令
nvidia-smi深度解读 · gpustat · nvtop交互式查看
命令行监控
06
PyTorch内存分析器
torch.cuda.memory_summary() · 内存快照生成与解析
PyTorch分析
07
CUDA Memory Checker
cuda-memcheck基础用法 · 内存泄漏检测实战
调试检测
08
碎片可视化工具
memory_viz库安装 · 生成碎片分布图 · 解读可视化报告
可视化图表
09
NVIDIA Nsight Systems
时间线视图分析 · 内存事件追踪 · 碎片热点定位
性能profiling
10
PyTorch缓存分配器
缓存机制原理 · 扩大缓存策略 · max_split_size_mb调优
调优缓存
11
环境变量调优
PYTORCH_CUDA_ALLOC_CONF详解 · expandable_segments · roundup_power2_divisions
配置环境变量
12
手动碎片整理
torch.cuda.empty_cache()正确用法 · 何时调用 · 性能影响评估
整理实践
13
内存池预分配
预分配策略设计 · 固定大小池 vs 动态池 · 代码实现示例
内存池策略
14
张量生命周期管理
del与引用计数 · 作用域控制 · 避免张量驻留
生命周期最佳实践
15
梯度累积与碎片
梯度累积原理 · 累积步数对碎片的影响 · 优化累积策略
训练梯度
16
数据加载器优化
DataLoader num_workers调优 · pin_memory · prefetch_factor设置
数据IO
17
混合精度训练
AMP原理 · 梯度缩放 · 减少碎片的内存收益
精度加速
18
模型并行与碎片
模型并行策略 · 张量分片 · 流水线并行中的碎片控制
并行分布式
19
ZeRO优化器
ZeRO Stage 1/2/3 · 显存节省原理 · 碎片减少效果
ZeRO优化
20
激活值检查点
Checkpointing原理 · 选择性检查点 · trade-off分析
激活显存
21
动态形状张量处理
变长序列问题 · padding策略 · 动态形状对碎片的影响
动态形状
22
碎片模拟与压力测试
模拟碎片生成脚本 · 压力测试工具 · 碎片率计算
测试模拟
23
自动化碎片治理脚本
Python脚本实现 · 定时清理策略 · 告警集成
自动化脚本
24
Kubernetes环境治理
Pod资源限制 · GPU共享策略 · 碎片感知调度
K8s集群
25
多卡场景碎片治理
NCCL通信与碎片 · 跨卡内存均衡 · 拓扑感知分配
多卡NCCL
26
大模型训练实战
LLaMA训练中的碎片问题 · 解决方案 · 性能对比
大模型LLaMA
27
推理服务碎片优化
Triton Inference Server配置 · 动态批处理 · 碎片容忍策略
推理Triton
28
性能基准测试
碎片率基准 · 吞吐量对比 · 延迟分析 · 测试报告生成
基准性能
29
常见问题排查
OOM错误分析 · 碎片风暴处理 · 工具调试技巧
排查OOM
30
最佳实践总结
治理流程标准化 · 监控体系搭建 · 团队协作规范
总结规范