01
显存基础与瓶颈分析
GPU显存架构 · 显存带宽与容量 · 多卡训练中的显存瓶颈 · 显存碎片化问题
基础瓶颈
02
数据并行与显存分布
数据并行原理 · 梯度同步(AllReduce) · 显存占用模型 · 通信与计算重叠
并行通信
03
ZeRO优化器
Stage1/2/3 · 优化器状态分片 · 梯度分片 · 参数分片 · ZeRO-Offload
ZeRO显存节省
04
模型并行策略
张量并行 · 流水线并行 · 序列并行 · 1F1B调度
模型并行调度
05
显存卸载技术
CPU Offload · NVMe Offload · 异步卸载调度 · 卸载带宽优化
卸载带宽
06
梯度累积与显存复用
梯度累积原理 · 显存复用 · Checkpointing · Activation Recomputation
累积复用
07
混合精度训练
FP16/BF16 · Loss Scaling · Master Weights · 显存节省
精度FP16
08
通信优化
NCCL调优 · 通信拓扑 · 梯度压缩 · 异步通信与同步屏障
通信NCCL
09
显存监控与调试
nvidia-smi详解 · PyTorch显存追踪 · 泄漏检测 · OOM恢复
监控调试
10
分布式训练框架
DeepSpeed · Megatron-LM · FairScale · ColossalAI
框架分布式
11
动态显存管理
显存池化 · 动态分配 · 预分配 · 碎片整理
动态池化
12
大模型训练实战
LLaMA · GPT-3显存估算 · MoE · 长序列优化
大模型实战
13
多机多卡同步
跨节点通信 · 网络带宽 · RDMA/InfiniBand · 多机拓扑
多机RDMA
14
显存与计算平衡
计算-显存权衡 · Batch Size · 序列长度 · 模型规模
平衡调优
15
高级优化技巧
Flash Attention · PagedAttention · 显存高效算子 · Kernel Fusion
高级Attention
16
故障恢复与容错
训练中断恢复 · 显存状态保存 · 弹性训练 · 断点续训
容错恢复
17
性能分析工具
PyTorch Profiler · Nsight Systems · Nsight Compute · 自定义分析
工具Profiler
18
显存优化案例
BERT · ViT · Diffusion模型 · 推荐系统
案例CVNLP
19
未来趋势
显存硬件 · 新架构优化 · AI编译器 · 自动显存管理
前沿趋势
20
总结与最佳实践
优化流程 · 问题排查 · 调优清单 · 生产部署
总结实践
21
显存分配器原理
CUDA分配器 · PyTorch缓存分配器 · 自定义分配器 · 显存池化实现
分配器底层
22
梯度检查点深入
检查点策略 · 计算图重构 · 显存-计算权衡 · 自动搜索
检查点权衡
23
通信计算重叠
异步通信 · 重叠调度 · 流水线气泡隐藏 · 调度器设计
重叠调度
24
显存压缩技术
梯度压缩 · 量化压缩 · 稀疏化 · 误差反馈
压缩量化
25
虚拟显存技术
显存交换 · 显存映射 · 显存压缩 · 分层管理
虚拟交换
26
多任务显存调度
动态分配 · 优先级调度 · 显存预留 · 任务隔离
多任务调度
27
显存安全与隔离
显存保护 · 进程隔离 · 泄漏检测 · 安全清理
安全隔离
28
自动化显存优化
自动混合精度 · 自动Batch Size · 自动并行 · 自动调优
自动化调优
29
大规模集群实践
万卡集群 · 异构显存 · 动态资源调度 · 集群监控
集群万卡
30
前沿研究
显存高效Transformer · 无限显存训练 · 显存虚拟化 · 新型架构
前沿研究