01
显存与通信协同调优概述
为什么需要协同调优？显存瓶颈与通信瓶颈的相互影响，课程目标与学习路径。
导论思维模型
02
GPU显存架构详解
HBM与GDDR的区别，显存带宽、容量与延迟，显存层级结构（L1/L2/显存）。
硬件HBM
03
通信基础与硬件拓扑
NVLink、PCIe、InfiniBand对比，节点内与跨节点通信拓扑，带宽与延迟模型。
拓扑互联
04
显存分配与生命周期管理
PyTorch显存分配器机制，显存碎片化问题，手动释放与缓存策略。
内存管理PyTorch
05
通信原语与集合操作
AllReduce、AllGather、ReduceScatter原理，Ring与Tree算法对比，通信量分析。
集合通信算法
06
显存与通信的耦合关系
计算-通信重叠，显存占用对通信带宽的影响，通信等待导致的计算饥饿。
耦合重叠
07
Profiling工具入门
Nsight Systems使用，PyTorch Profiler，显存与通信事件的关联分析。
工具性能分析
08
显存优化技术（上）
梯度检查点（Checkpointing），激活值重计算，显存节省与计算开销权衡。
检查点重计算
09
显存优化技术（下）
混合精度训练（FP16/BF16），ZeRO优化器（Stage 1/2/3），显存节省量化分析。
混合精度ZeRO
10
通信优化技术（上）
梯度压缩（Gradient Compression），TopK与随机稀疏化，通信量减少效果。
压缩稀疏化
11
通信优化技术（下）
异步通信与重叠，通信调度策略，通信与计算流水线设计。
异步流水线
12
数据并行中的协同调优
DP与DDP原理，梯度同步的显存开销，通信与计算负载均衡。
数据并行DDP
13
模型并行中的协同调优
张量并行（Megatron-LM），流水线并行（GPipe/1F1B），显存分布与通信模式。
模型并行Megatron
14
序列并行中的协同调优
序列并行（DeepSpeed-Ulysses），长序列训练的显存与通信挑战，Ring Attention。
序列并行Ring Attention
15
专家并行（MoE）中的协同调优
MoE架构的显存分布，All-to-All通信优化，负载均衡与通信开销。
MoEAll-to-All
16
ZeRO++与通信优化
ZeRO++的分区梯度压缩，分层通信策略，显存与通信的联合优化。
ZeRO++分层通信
17
显存-通信联合调度策略
计算图优化与通信插入，自动调度框架（Tutel/Whale），动态显存管理。
联合调度自动框架
18
通信拓扑感知的显存分配
基于拓扑的显存亲和性，NUMA感知分配，跨节点显存访问优化。
拓扑感知NUMA
19
显存带宽与通信带宽的平衡
计算强度（Arithmetic Intensity），Roofline模型在分布式训练中的应用。
Roofline计算强度
20
异步执行与显存复用
CUDA Stream与Event，显存复用池设计，异步通信与显存释放的时序协调。
CUDA Stream复用池
21
显存与通信的故障诊断
OOM错误分析，通信超时与显存泄漏，常见问题排查流程。
故障诊断OOM
22
大规模训练中的显存与通信挑战
千卡集群的显存碎片，通信拥塞与拓扑感知，全局调度优化。
大规模集群
23
显存与通信协同调优的自动化
AutoTuning方法，贝叶斯优化与强化学习，自动搜索最优配置。
自动调优贝叶斯
24
案例实战：GPT类模型训练调优
从单卡到多卡的显存与通信演进，实际调优步骤与效果对比。
GPT实战
25
案例实战：MoE模型训练调优
显存分布策略选择，通信优化技巧，端到端性能提升。
MoE实战调优
26
案例实战：多模态模型训练调优
视觉-语言模型的显存与通信特点，跨模态数据并行策略。
多模态跨模态
27
前沿技术：显存与通信融合设计
近存计算（Near-Memory Computing），通信与计算的硬件协同。
近存计算硬件协同
28
前沿技术：可重构通信与显存架构
CXL与内存池化，动态显存与带宽分配，未来趋势。
CXL内存池化
29
课程总结与最佳实践
协同调优的核心原则，常见调优流程模板，推荐工具链与资源。
总结最佳实践
30
综合实战项目：端到端调优项目
从Profiling到优化再到验证的完整流程，项目报告模板与评估指标。
综合实战项目