01
课程导学与环境准备
集群训练是什么？为什么需要集群？课程目标与前置知识。
导学环境
02
硬件选型与采购指南
GPU (A100/H100/4090)、CPU、内存、网络 (IB/RoCE)、存储 (NVMe/分布式文件系统) 选型建议。
硬件采购
03
Linux基础与系统初始化
Ubuntu Server 22.04安装、SSH配置、用户与权限管理、关闭防火墙与SELinux。
Linux初始化
04
网络基础与配置
IP地址规划、主机名与hosts解析、网络 bonding 配置、MTU 调优。
网络bonding
05
NVIDIA驱动与CUDA安装
驱动版本选择、CUDA Toolkit安装、cuDNN安装、验证GPU可用性。
GPUCUDA
06
Docker与NVIDIA Container Toolkit
Docker CE安装、配置NVIDIA运行时、拉取并运行PyTorch镜像。
Docker容器
07
共享存储搭建 (NFS)
NFS Server配置、Client挂载、权限与性能优化。
存储NFS
08
SSH免密登录与集群互信
生成SSH密钥、分发公钥、配置~/.ssh/config。
SSH互信
09
时钟同步 (NTP/Chrony)
为什么需要时钟同步？Chrony配置、验证同步状态。
时钟NTP
10
作业调度系统 (Slurm) 安装
Slurm角色介绍、Munge认证、Slurm Controller与Node配置。
Slurm调度
11
Slurm实战
提交交互式作业、批处理作业、查看队列与节点状态。
Slurm作业
12
分布式训练框架选型
PyTorch DDP vs DeepSpeed vs Megatron-LM vs Horovod，适用场景对比。
框架选型
13
PyTorch DDP原理与配置
进程组初始化、DistributedSampler、模型包装、启动方式 (torchrun)。
DDPPyTorch
14
DeepSpeed入门
ZeRO Stage 1/2/3原理、DeepSpeed Config配置、训练脚本改造。
DeepSpeedZeRO
15
Megatron-LM核心概念
张量并行、流水线并行、数据并行、模型并行策略组合。
Megatron并行
16
环境一致性管理 (Conda/Poetry)
Conda环境导出与重建、Poetry依赖锁定、Docker镜像构建。
CondaPoetry
17
监控系统搭建 (Prometheus + Grafana)
Node Exporter采集、GPU Exporter、Grafana仪表盘配置。
监控Grafana
18
日志收集与分析 (ELK/Loki)
Filebeat采集训练日志、Loki聚合查询、Grafana集成。
日志Loki
19
训练数据准备与预处理
数据下载、清洗、Tokenization、Sharding、预取与缓存策略。
数据预处理
20
模型保存与加载 (Checkpointing)
单卡/多卡Checkpoint保存、断点续训、HuggingFace Transformers集成。
Checkpoint断点续训
21
混合精度训练 (AMP)
FP16/BF16原理、PyTorch AMP API、DeepSpeed AMP配置。
AMP混合精度
22
梯度累积与梯度裁剪
为什么需要梯度累积？实现方式、梯度裁剪阈值设置。
梯度累积
23
通信优化 (NCCL)
NCCL环境变量调优、Ring AllReduce vs Tree AllReduce、网络带宽测试。
NCCL通信
24
常见故障排查
OOM (显存溢出)、NCCL超时、节点掉线、数据加载瓶颈。
故障排查
25
性能分析与Profiling
PyTorch Profiler、Nsight Systems、Flops计算与吞吐量评估。
Profiling性能
26
多机多卡训练实战
torchrun多机启动、DeepSpeed多机配置、Slurm多节点作业。
多机多卡
27
大规模模型微调 (LoRA/QLoRA)
参数高效微调原理、PEFT库使用、多卡微调配置。
LoRA微调
28
推理服务部署 (vLLM/TensorRT-LLM)
模型导出、服务化部署、并发与吞吐优化。
推理vLLM
29
安全与权限管理
容器安全、网络隔离、数据加密、审计日志。
安全权限
30
课程总结与最佳实践
集群运维SOP、常见问题速查表、推荐学习路径。
总结最佳实践