第1章
GPU集群概述
GPU与CPU区别 · AI/HPC作用 · A100/H100/MI300X对比 · 集群架构概览
入门概念
第2章
硬件基础与机房部署
服务器硬件 · NVLink/NVSwitch · 电力制冷 · 上架布线规范
硬件部署
第3章
操作系统与驱动安装
Ubuntu 22.04 · NVIDIA驱动 · CUDA Toolkit · cuDNN
系统驱动
第4章
容器化环境搭建
Docker · NVIDIA Container Toolkit · PyTorch/TensorFlow · 资源限制
容器环境
第5章
Slurm作业调度系统 (上)
架构组件 · 安装配置 · 节点分区 · Partition/QOS/GRES
调度Slurm
第6章
Slurm作业调度系统 (下)
sbatch/srun · 作业依赖 · GPU请求 · 监控管理
调度实战
第7章
集群网络配置
InfiniBand vs RoCEv2 · Mellanox驱动 · IPoIB · RDMA测试
网络高速互联
第8章
共享存储方案
NFS · Lustre/GPFS · 挂载权限 · fio/ior性能测试
存储并行文件系统
第9章
监控系统搭建 (上)
Prometheus · Node Exporter · dcgm-exporter · Grafana
监控可视化
第10章
监控系统搭建 (下)
Alertmanager · GPU告警 · ELK/Loki · 钉钉邮件通知
告警日志
第11章
用户管理与权限
LDAP统一认证 · 用户组管理 · quota · sudo控制
安全权限
第12章
作业性能分析
Nsight Systems · nvidia-smi · py-spy/perf · 瓶颈定位
调优profiling
第13章
常见故障排查 (上)
NVRM崩溃 · XID错误 · GPU掉卡 · ECC处理
故障GPU
第14章
常见故障排查 (下)
网络丢包重传 · IO hang · OOM Killer · dmesg分析
网络内核
第15章
集群安全加固
SSH密钥 · ufw/iptables · Fail2ban · SELinux/AppArmor
安全加固
第16章
备份与容灾
Clonezilla系统备份 · 配置备份 · 作业归档 · 灾难恢复
备份容灾
第17章
多租户与资源隔离
cgroup v2 · 内存CPU隔离 · MIG · 公平调度
多租户隔离
第18章
集群扩缩容
新增节点 · 下线维护 · Slurm动态节点 · 自动化脚本
运维弹性
第19章
深度学习框架集成
PyTorch DDP · TensorFlow分布式 · Horovod · DeepSpeed
AI分布式
第20章
HPC应用集成
OpenMPI · MPI Hello · GROMACS/LAMMPS · 作业模板
HPCMPI
第21章
容器镜像管理
Harbor私有仓库 · 构建推送 · 缓存策略 · 安全扫描
容器镜像
第22章
作业模板与自动化
sbatch模板 · 参数化提交 · pyslurm · CI/CD集成
自动化DevOps
第23章
成本与能耗管理
GPU功耗控制 · 空闲关机 · 电费分摊 · 绿色计算
成本节能
第24章
集群日志审计
auditd · sacct · 用户行为审计 · 合规检查
审计安全
第25章
混合云与边缘
云GPU实例 · Slurm Cloud Bursting · 边缘节点管理
混合云边缘
第26章
Kubernetes GPU调度
K8s安装 · NVIDIA Device Plugin · Volcano · MIG in K8s
K8sGPU
第27章
集群健康检查
巡检脚本 · IPMI · gpu-burn · 网络延迟测试
健康巡检
第28章
版本升级与迁移
驱动升级 · CUDA切换 · Slurm升级 · 数据迁移
升级迁移
第29章
文档与知识库
运维规范 · 故障SOP · BookStack · 知识沉淀
文档知识库
第30章
综合实战与案例
全流程复盘 · 典型故障 · 性能调优 · 面试问题
实战案例