第1章
多卡训练基础
分布式训练概念 · 数据并行与模型并行 · 同步与异步训练 · 通信拓扑结构
概念并行
第2章
硬件选型与拓扑
GPU型号选择 · NVLink与PCIe拓扑 · CPU与内存瓶颈 · 网络互联方案
硬件拓扑
第3章
通信库入门
NCCL基础 · MPI基础 · Gloo基础 · 通信原语 (AllReduce, AllGather等)
通信原语
第4章
PyTorch DDP详解
DistributedDataParallel原理 · 进程组初始化 · 数据加载器适配 · 模型同步机制
PyTorchDDP
第5章
数据加载优化
DataLoader多进程设置 · 内存映射文件 · 数据预处理流水线 · IO瓶颈分析
IODataLoader
第6章
梯度累积与混合精度
梯度累积策略 · 自动混合精度(AMP) · 损失缩放 · FP16训练陷阱
AMP精度
第7章
计算图优化
算子融合 · 内核自动调优 · JIT编译(TorchScript) · 图捕获技术
图优化JIT
第8章
显存优化
激活值检查点 · 梯度检查点 · 显存碎片整理 · ZeRO优化器原理
显存ZeRO
第9章
通信与计算重叠
异步通信 · 通信计算流水线 · 多流调度 · 带宽利用率提升
重叠流水线
第10章
负载均衡
数据分片策略 · 动态负载均衡 · 任务调度算法 · 异构设备适配
均衡调度
第11章
Profiling工具
PyTorch Profiler · NVIDIA Nsight Systems · Nsight Compute · TensorBoard可视化
ProfilerNsight
第12章
性能指标分析
吞吐量 · 扩展效率 · 计算利用率 · 通信占比 · 显存带宽
指标分析
第13章
常见瓶颈诊断
CPU瓶颈 · GPU瓶颈 · 通信瓶颈 · 内存瓶颈 · IO瓶颈
诊断瓶颈
第14章
扩展性测试
强扩展与弱扩展 · Amdahl定律 · Gustafson定律 · 扩展效率曲线
扩展定律
第15章
超参数调优
学习率缩放策略 · 批次大小影响 · 预热策略 · 优化器选择
超参策略
第16章
模型并行策略
张量并行 · 流水线并行 · 序列并行 · 混合并行方案
模型并行策略
第17章
ZeRO优化器
ZeRO-1 · ZeRO-2 · ZeRO-3 · ZeRO-Offload · ZeRO-Infinity
ZeRO显存
第18章
分布式检查点
模型状态保存 · 优化器状态保存 · 异步检查点 · 检查点恢复
检查点容错
第19章
弹性训练
动态节点加入/退出 · 容错机制 · 状态恢复 · 弹性调度器
弹性容错
第20章
多机训练配置
SSH免密配置 · 网络环境检查 · 共享文件系统 · 环境变量设置
多机配置
第21章
容器化部署
Docker镜像构建 · NVIDIA Container Toolkit · Kubernetes调度 · 资源限制
容器K8s
第22章
云上训练实践
AWS SageMaker · GCP AI Platform · 阿里云PAI · 腾讯云TI-ONE
云平台实践
第23章
混合专家模型 (MoE)
MoE原理 · 路由策略 · 负载均衡 · 通信模式
MoE稀疏
第24章
大模型训练案例
/LLaMA训练配置 · Megatron-LM框架 · DeepSpeed应用 · ColossalAI实践
大模型案例
第25章
性能调优方法论
ROI分析 · 瓶颈定位 · 迭代优化 · 基准测试
方法论调优
第26章
自动化调优工具
AutoTune · HpBandSter · Optuna · Ray Tune
自动调优工具
第27章
监控与告警
GPU监控(nvidia-smi) · 集群监控(Prometheus) · 日志聚合(ELK) · 告警规则
监控告警
第28章
成本优化
Spot实例使用 · 预留实例 · 混合云策略 · 训练成本估算
成本优化
第29章
安全与合规
数据加密 · 网络隔离 · 访问控制 · 合规审计
安全合规
第30章
未来趋势
GPU互联技术 · 存算一体 · 量子计算 · 新型网络架构
趋势前沿