第1章
高性能训练系统概述
什么是高性能训练系统 · 为什么需要 · 核心性能指标 · 系统架构概览
吞吐量显存利用率计算效率
第2章
硬件基础选型
GPU对比 (A100/V100/4090) · CPU内存 · NVLink · InfiniBand vs RoCE · NVMe vs SSD
GPUNVLink高速网络
第3章
深度学习框架选择
PyTorch vs TF vs JAX · 性能基准 · 硬件兼容性 · 分布式框架概览
PyTorchJAXHorovod
第4章
CUDA编程基础
编程模型 · 线程层次 · 内存层次 · 核函数编写入门
GridShared MemoryKernel
第5章
CUDA性能优化
内存合并 · 共享内存 · Bank Conflict · Warp优化 · Occupancy
合并访问BankOccupancy
第6章
cuDNN与cuBLAS
卷积优化 · 矩阵乘法调优 · 混合精度 · Tensor Core · 自动调优
cuDNNcuBLASTensor Core
第7章
混合精度训练
FP16/BF16/TF32 · 混合精度原理 · Loss Scaling · AMP · 精度与性能
AMPBF16Loss Scaling
第8章
分布式训练基础
数据并行 · 模型并行 · 流水线并行 · 张量并行 · 混合并行
Data ParallelPipelineTensor Parallel
第9章
NCCL通信库
初始化 · AllReduce原理 · Ring vs Tree · 性能调优 · 多节点配置
NCCLAllReduceRing
第10章
Horovod分布式框架
架构 · 安装配置 · Tensor Fusion · 梯度压缩 · 自适应梯度累积
Horovod梯度压缩Fusion
第11章
DeepSpeed框架
ZeRO Stage 1/2/3 · ZeRO-Offload · ZeRO-Infinity · MoE · 梯度检查点
ZeROOffloadMoE
第12章
Megatron-LM框架
张量并行 · 流水线并行 · 序列并行 · 策略组合 · 大语言模型实践
Megatron张量并行序列并行
第13章
PyTorch DDP详解
DistributedDataParallel · 进程组 · 梯度同步 · DDP vs DP · 问题排查
DDP进程组梯度同步
第14章
PyTorch FSDP
Fully Sharded原理 · FSDP vs DDP · Sharding策略 · CPU Offload · 混合精度
FSDPShardingCPU Offload
第15章
数据加载优化
DataLoader · 多进程 · mmap · 预取缓存 · TFRecord/WebDataset · 增强加速
mmapWebDataset预取
第16章
显存优化技术
梯度累积 · 激活检查点 · 显存碎片整理 · 剪枝量化 · 监控工具
Activation Checkpoint梯度累积显存
第17章
计算图优化
JIT (TorchScript/Triton) · 算子融合 · 图捕获 · 动态vs静态 · XLA
TorchScriptKernel FusionXLA
第18章
训练监控与可视化
TensorBoard · WandB · Nsight Systems · PyTorch Profiler · 资源监控
WandBNsightProfiler
第19章
自动超参数调优
网格/随机搜索 · 贝叶斯(Optuna) · 学习率调度 · 批量大小与lr · 早停
Optuna贝叶斯早停
第20章
模型并行训练实践
张量并行细节 · 通信开销 · 负载均衡 · 模型分片 · 大规模案例
张量并行负载均衡分片
第21章
流水线并行训练
气泡分析 · 1F1B · 交错调度 · 流水线深度 · 端到端优化
1F1B流水线气泡交错
第22章
数据并行扩展优化
梯度压缩 · 梯度累积策略 · 异步SGD · 局部SGD · 通信计算重叠
梯度压缩异步SGD重叠
第23章
大规模训练稳定性
梯度裁剪 · 学习率预热 · 权重初始化 · BN调整 · 损失NaN/Inf处理
梯度裁剪预热NaN
第24章
容错与恢复
检查点策略 · 异步检查点 · 分布式检查点 · 故障检测 · 中断恢复
Checkpoint容错恢复
第25章
多节点训练网络优化
网络拓扑 · 带宽优化 · 通信调度 · RDMA · 拥塞控制
RDMA拓扑拥塞控制
第26章
训练系统自动化部署
Docker · Kubernetes · Slurm · 自动扩缩容 · 环境一致性
K8sSlurmDocker
第27章
性能基准测试
方法论 · MLPerf/DAWNBench · 指标采集 · 对比分析 · 回归测试
MLPerf基准回归
第28章
成本优化
云GPU实例 · Spot实例 · 预留实例 · 混合云 · 成本估算模型
Spot混合云成本模型
第29章
前沿技术探索
稀疏训练 · MoE · 序列并行 · 3D并行 · 超大规模趋势
稀疏MoE3D并行
第30章
综合实战项目
千亿参数训练系统 · 端到端调优 · 问题排查 · 最佳实践总结
千亿参数实战调优