01
显存分配基础
GPU显存架构 · CUDA内存模型 · 分配释放 · 碎片化
核心入门
02
模型并行原理
模型并行 vs 数据并行 · 张量/流水线/序列并行
并行原理
03
张量切分策略
行切分 · 列切分 · 2D/混合切分 · 通信开销
切分通信
04
流水线调度
1F1B · 交错式1F1B · 气泡分析 · 调度优化
调度流水线
05
显存优化技术
激活重计算 · 混合精度 · 梯度累积 · ZeRO
优化显存
06
通信拓扑
All-Reduce · Reduce-Scatter · All-Gather · P2P · 重叠
通信拓扑
07
显存规划
单卡预算 · 模型/激活/优化器显存估算
规划估算
08
Megatron-LM实践
张量/流水线/序列并行 · 配置调优
框架实践
09
DeepSpeed实践
ZeRO-1/2/3 · Offload · Infinity · 混合并行
框架ZeRO
10
显存分析工具
nvidia-smi · Nsight · PyTorch Profiler · 快照
工具分析
11
大模型显存挑战
千亿参数需求 · 显存墙 · 扩展性
挑战大模型
12
异构显存管理
CPU-GPU统一内存 · NVLink · 池化 · 动态分配
异构内存
13
显存碎片化
内部/外部碎片 · 度量 · 缓解策略
碎片优化
14
激活值管理
生命周期 · Checkpointing · 选择性重计算 · 压缩
激活值重计算
15
优化器状态管理
Adam显存 · Adafactor · 低精度 · 状态共享
优化器显存
16
梯度管理
梯度累积 · 压缩 · 裁剪 · 同步策略
梯度通信
17
模型加载与保存
分片保存 · 动态加载 · 热加载 · 检查点
持久化检查点
18
动态显存分配
显存池 · 预分配 · 复用 · 回收策略
动态分配
19
显存监控
实时监控 · 泄漏检测 · 使用分析 · 告警
监控运维
20
混合并行策略
2D/3D/4D并行 · 自动并行搜索
并行自动
21
序列并行
长序列 · 序列切分 · Ring/Flash Attention
序列Attention
22
专家并行
MoE架构 · 路由 · 负载均衡 · 显存优化
MoE专家
23
显存压缩
量化 · 蒸馏 · 剪枝 · 低秩分解
压缩量化
24
显存虚拟化
交换 · 压缩 · 分层 · 预取
虚拟化分层
25
分布式显存
聚合 · 共享 · 一致性 · 容错
分布式一致性
26
显存性能分析
带宽 · 延迟 · 吞吐 · 效率
性能分析
27
显存调优
超参调优 · 自动优化 · 感知调度 · 成本
调优成本
28
显存安全
隔离 · 保护 · 审计 · 合规
安全合规
29
前沿显存技术
CXL · HBM3 · GDDR7 · 存算一体
前沿硬件
30
综合案例
千亿模型训练显存方案 · 规划报告 · 优化实战
实战综合