01
AI集群概述
高性能计算与AI训练的关系 · 集群架构演进 · 典型硬件组成 (GPU/DPU/交换机)
基础硬件
02
网络拓扑设计
Fat-Tree vs Torus · IB与RoCEv2选型 · 带宽与延迟权衡
网络架构
03
GPU服务器选型
NVIDIA DGX · HGX平台 · 国产GPU方案 · PCIe与NVLink互联
硬件选型
04
存储系统设计
并行文件系统 (Lustre/GPFS) · 对象存储 (MinIO) · 数据缓存策略
存储IO
05
操作系统与驱动
Ubuntu Server 22.04 LTS · NVIDIA驱动 · CUDA Toolkit部署
系统驱动
06
容器化环境搭建
Docker + NVIDIA Container Toolkit · Kubernetes · GPU Operator
容器K8s
07
分布式训练框架
PyTorch DDP · DeepSpeed · Horovod · TensorFlow分布式策略
框架分布式
08
网络性能调优
RDMA配置 · DCQCN/ECN · MTU与流控优化
网络调优
09
GPU性能监控
DCGM工具链 · Prometheus+Grafana · 自定义告警规则
监控运维
10
作业调度系统
Slurm安装配置 · 分区管理 · GPU资源隔离 (MIG/时间切片)
调度Slurm
11
数据加载优化
DataLoader多进程 · 内存映射文件 · NVMe over Fabrics
数据IO
12
混合精度训练
FP16/BF16原理 · AMP自动混合精度 · 损失缩放策略
精度优化
13
梯度累积与通信压缩
梯度累积步数调优 · AllReduce优化 · 梯度压缩算法
通信梯度
14
模型并行策略
张量并行 · 流水线并行 · 序列并行 · Expert并行 (MoE)
并行模型
15
ZeRO优化器
ZeRO-1/2/3原理 · Offload到CPU/NVMe · 内存碎片管理
显存优化
16
通信库调优
NCCL环境变量 · NVLink拓扑感知 · Ring与Tree算法选择
NCCL通信
17
故障排查与容错
Checkpointing恢复 · 慢节点检测 · 硬件故障定位
容错排障
18
集群基准测试
NCCL测试 (all_reduce_perf) · MLPerf · 自定义微基准
性能测试
19
多租户隔离
K8s Namespace · ResourceQuota · GPU共享与独占策略
多租户K8s
20
日志与审计
训练日志结构化 · ELK/EFK栈 · 审计日志合规性
日志审计
21
安全加固
容器镜像扫描 · NetworkPolicy · 密钥管理 (Vault)
安全合规
22
成本优化
Spot实例 · 弹性扩缩容 · 预留与按需混合策略
成本云
23
国产化适配
华为昇腾 · 寒武纪 · 百度昆仑芯片驱动与框架适配
国产适配
24
边缘-云协同
混合云训练架构 · 数据同步 · 延迟敏感型任务调度
混合云边缘
25
大语言模型训练
GPT/LLaMA流程 · Megatron-LM + DeepSpeed实践
LLM大模型
26
多模态模型训练
CLIP/Stable Diffusion · 图像与文本混合加载
多模态生成
27
强化学习训练
RLHF框架 (DeepSpeed Chat) · 奖励模型 · PPO优化
RLHF强化学习
28
集群能效管理
功耗监控 (nvidia-smi) · 动态频率调整 · 液冷方案简介
能效绿色
29
自动化运维
Ansible/Terraform部署 · GitOps · CI/CD for ML
DevOps自动化
30
案例实战
千卡集群部署全流程 · 性能调优实战 · 故障复盘与最佳实践
实战综合