01
GPU集群概述
GPU计算发展史 · 集群架构 · 应用场景
入门概览
02
GPU硬件基础
NVIDIA架构演进 · 显存带宽 · NVLink/NVSwitch
硬件互联
03
GPU驱动与CUDA环境部署
驱动安装 · CUDA Toolkit · cuDNN · 环境验证
环境CUDA
04
容器化GPU环境
Docker + NVIDIA Container Toolkit · 镜像构建 · 资源限制
容器Docker
05
Kubernetes基础
K8s架构 · Pod/Node/Deployment · kubectl命令
K8s核心
06
Kubernetes GPU管理
device-plugin原理 · GPU资源上报 · 标签与污点
GPU调度
07
GPU节点池管理
节点池概念 · 弹性伸缩 · 节点初始化 · 健康检查
节点弹性
08
任务调度基础
调度器架构 · 调度周期 · FIFO/优先级/公平调度
调度策略
09
Volcano调度器
Volcano架构 · Queue/PodGroup · Gang Scheduling
Volcano批量
10
Kubernetes原生调度增强
节点亲和性 · Pod亲和/反亲和 · 拓扑分布约束
亲和性拓扑
11
GPU拓扑感知调度
NVLink拓扑感知 · NUMA亲和性 · 带宽优化
拓扑性能
12
任务队列与资源配额
Namespace配额 · ResourceQuota · LimitRange · 多租户
配额多租户
13
分布式训练框架集成
PyTorch DDP · TensorFlow分布式 · Horovod
训练框架
14
MPI与集合通信
MPI Operator · NCCL原理 · 拓扑优化 · 网络调优
MPINCCL
15
任务生命周期管理
任务提交 · 状态监控 · 日志收集 · 失败重试 · 优雅退出
生命周期运维
16
监控与告警
Prometheus+Grafana · DCGM指标 · 自定义告警
监控告警
17
日志管理
ELK/EFK栈 · 容器日志 · 持久化 · 日志检索
日志ELK
18
存储集成
NFS/Lustre · PV/PVC · 数据缓存 · Checkpoint
存储PV/PVC
19
网络优化
RDMA/InfiniBand · RoCE v2 · 网络策略 · 带宽QoS
网络RDMA
20
镜像管理
Harbor私有仓库 · 镜像加速 · 预热 · 安全扫描
镜像Harbor
21
CI/CD集成
GitOps工作流 · Pipeline自动化 · 镜像构建 · 自动部署
CI/CDGitOps
22
多集群管理
Karmada/Federation · 跨集群调度 · 联邦资源 · 监控
多集群联邦
23
混合云GPU集群
公有云GPU实例 · 混合云网络 · 云边协同 · 成本优化
混合云成本
24
任务性能分析
Nsight · PyTorch Profiler · 瓶颈定位 · 优化建议
性能Profiling
25
成本管理
GPU计费 · 空闲回收 · Spot实例 · 成本分摊
成本优化
26
安全与合规
RBAC · Pod安全策略 · 镜像签名 · 审计日志
安全合规
27
故障排查
常见问题 · GPU故障检测 · 节点恢复 · 断点续训
排障恢复
28
高可用设计
控制平面高可用 · etcd备份 · 节点冗余 · 任务容错
高可用容错
29
最佳实践
集群规划 · 资源配比 · 运维自动化 · 团队协作
最佳实践指南
30
案例实战
大模型训练集群 · 推理服务 · 弹性训练 · 生产运维
实战案例