01
显存碎片全景
碎片定义 · 根本原因 · 训练推理影响 · 宏观策略
全景基础
02
CUDA内存池机制
Driver分配策略 · cudaMalloc延迟 · cudaFree回收 · 默认池行为
CUDA内存池
03
PyTorch缓存分配器
Caching allocator · stream/block管理 · 状态机 · 日志解读
PyTorch分配器
04
碎片率量化
定义碎片率 · 计算公式 · nvidia-smi/Nsight · 监控脚本
监控量化
05
内存预分配技术
empty_cache控制 · max_split_size_mb · 预分配实战
预分配配置
06
张量生命周期管理
del与引用计数 · no_grad · in-place操作 · 梯度累积优化
生命周期梯度
07
显存池化技术
自定义内存池 · CUDAPluggableAllocator · RMM对接
池化第三方
08
动态形状优化
动态shape碎片 · padding固定shape · bucket机制 · 动态batching
动态形状batching
09
梯度检查点
原理 · torch.utils.checkpoint · 时间/空间权衡 · LLM应用
检查点LLM
10
混合精度训练
FP16/BF16影响 · AMP碎片特性 · Master Weights · Loss Scaling
混合精度AMP
11
ZeRO优化器
Stage 1/2/3显存分布 · 减少碎片 · Offload策略 · ZeRO++
ZeRO优化器
12
Flash Attention
显存节省原理 · 分块计算 · 碎片对比 · 部署经验
AttentionFlash
13
显存压缩技术
INT8/INT4量化 · 激活值压缩 · 稀疏存储 · KV Cache压缩
压缩量化
14
数据加载器优化
pin_memory · prefetch_factor · 多进程显存管理 · 避免拷贝碎片
DataLoaderIO
15
分布式训练显存
DDP/FSDP显存分布 · TP碎片特征 · PP显存均衡 · 序列并行
分布式并行
16
推理引擎优化
TensorRT · ONNX Runtime · vLLM PagedAttention · TGI连续批处理
推理引擎
17
碎片复现与调试
复现脚本 · memory_summary · Nsight Memory Track · GDB调试
调试复现
18
自定义分配器开发
继承CUDAPluggableAllocator · allocate/free · 注册PyTorch · 基准测试
开发分配器
19
大模型训练实战
LLaMA碎片 · Megatron-LM优化 · DeepSpeed治理 · 案例复盘
大模型实战
20
多任务并发显存
多进程共享GPU · MPS碎片 · 时间片调度 · 动态优先级
并发MPS
21
容器化环境显存
Docker GPU限制 · Kubernetes device plugin · cgroup影响 · 多租户隔离
容器K8s
22
显存泄漏检测
引用循环泄漏 · C扩展泄漏 · tracemalloc · memory_snapshot
泄漏检测
23
碎片自动修复
运行时整理 · 内存移动 · 碎片率阈值告警 · 自动重启
自动修复告警
24
GPU架构差异
Ampere vs Hopper · L2缓存影响 · HBM3特性 · 架构调优
架构NVIDIA
25
操作系统层面
UVA统一虚拟地址 · GPU页错误 · 显存映射文件 · NUMA亲和性
OS虚拟内存
26
性能剖析工具
Nsight Compute · PyTorch Profiler Memory View · 自定义Kernel追踪
剖析工具
27
基准测试方法论
碎片压力测试 · 微基准 · 端到端评估 · 报告自动化
基准测试
28
前沿研究
PagedAttention变体 · vAttention · InfiniGen · CXL池化显存
前沿研究
29
团队协作规范
代码审查显存检查 · CI/CD碎片回归 · 文档化策略 · 知识库
协作CI/CD
30
综合案例
8卡LLaMA优化 · 碎片率45%→5% · 性能提升2.3倍实战
综合案例