01
GPU集群概述
GPU计算发展史 · GPU vs CPU · 集群架构基础 · 典型应用场景
发展史架构
02
硬件选型与配置
GPU型号对比(A100/H100/B200) · 服务器选型 · 网络拓扑 · 存储配置
A100H100Fat-Tree
03
集群网络优化
RDMA与GPUDirect · NCCL调优 · 网络拥塞控制 · RoCE vs InfiniBand
RDMANCCLRoCE
04
存储系统优化
分布式存储选型(Lustre/GPFS/WeScale) · 数据加载Pipeline · IO模式 · 缓存策略
LustreIO缓存
05
GPU虚拟化与资源隔离
MIG技术 · vGPU方案 · Kubernetes GPU调度 · 多租户隔离
MIGvGPUK8s
06
深度学习训练框架优化
PyTorch DDP/FSDP · DeepSpeed ZeRO · Megatron-LM · Horovod
FSDPZeROMegatron
07
分布式训练策略
数据并行 · 模型并行 · 流水线并行 · 张量并行 · 混合并行(3D)
数据并行3D并行
08
通信优化
AllReduce算法(Ring/Ring-Tree/双Ring) · 通信计算重叠 · 梯度压缩 · 异步通信
AllReduce梯度压缩
09
显存优化
激活值重计算 · 混合精度(FP16/BF16/FP8) · ZeRO系列 · 显存碎片管理
重计算BF16ZeRO
10
计算效率优化
CUDA Kernel优化 · 算子融合 · JIT编译(TorchScript/Triton) · Tensor Core
KernelTritonTensor Core
11
数据加载与预处理优化
DataLoader多进程 · 内存映射 · 数据预处理Pipeline · 缓存与预取
DataLoader预取
12
集群监控与可观测性
GPU指标采集(DCGM) · 网络监控 · 存储监控 · 分布式追踪(Nsight)
DCGMNsight
13
作业调度与资源管理
Slurm配置优化 · Kubernetes批处理 · 优先级与抢占 · Gang Scheduling
SlurmK8sGang
14
容错与弹性训练
Checkpoint策略 · 异步Checkpoint · TorchElastic · 故障恢复
CheckpointTorchElastic
15
性能基准测试
MLPerf基准 · 自定义Benchmark · Nsight Systems/Compute · 瓶颈分析
MLPerfProfiling
16
集群功耗与散热优化
功耗监控 · 动态频率调整 · 液冷方案 · PUE优化 · 绿色计算
液冷PUE绿色
17
多集群管理与联邦学习
跨集群数据同步 · NVFlare · 混合云架构 · 数据安全与隐私
联邦学习NVFlare
18
大语言模型(LLM)训练优化
GPT/LLaMA训练 · 序列并行 · FlashAttention · MoE架构优化
LLaMAFlashAttentionMoE
19
推理优化
TensorRT部署 · vLLM推理引擎 · KV Cache优化 · 连续批处理 · INT4/INT8
TensorRTvLLM量化
20
集群安全与合规
网络安全 · 数据加密 · RBAC · 审计日志 · GDPR/等保
RBACGDPR等保
21
成本优化
Spot实例 · 预留实例 · 自动扩缩容 · 成本分析 · TCO模型
SpotTCO
22
CI/CD与MLOps
ML Pipeline自动化 · 模型版本管理 · A/B测试 · 监控回滚 · GitOps
MLOpsGitOps
23
高性能存储优化(进阶)
NVMe over Fabric · 内存计算 · 数据压缩 · 近存储计算
NVMe-oF内存计算
24
网络拓扑优化(进阶)
自适应路由 · 拥塞感知调度 · 网络遥测 · 性能隔离
自适应路由遥测
25
GPU内核级优化(进阶)
CUDA Graph · 自定义CUDA Kernel · 汇编级优化 · PTX指令调优
CUDA GraphPTX
26
大规模训练稳定性
Loss Spike处理 · 梯度裁剪 · 学习率调度 · 混合精度稳定性 · 数值稳定性
Loss Spike梯度裁剪
27
集群自动化运维
Ansible/Terraform部署 · 配置管理 · 自动巡检 · 告警自愈 · Dashboard
AnsibleTerraform
28
性能建模与预测
Roofline模型 · 性能模拟器 · 训练时间预测 · 资源需求预估 · 容量规划
Roofline容量规划
29
案例实战
千卡集群训练LLaMA-65B · 金融风控模型 · 自动驾驶感知模型集群部署
LLaMA-65B金融风控自动驾驶
30
未来趋势与前沿
NVIDIA下一代架构 · CXL互联 · 光互连 · 量子计算与GPU融合 · AI for Science
CXL光互连量子计算