1. 课程导入
1.1 学习目标与课程定位
本课程面向需要真正动手搭建AI基础设施的运维工程师、平台工程师与算法工程师，聚焦于训练集群与推理集群从硬件选型到软件栈落地的完整过程。完成本章学习后，你将能够：
- 清晰区分训练集群与推理集群在硬件配置、网络拓扑、软件栈上的核心差异；
- 理解集群部署中涉及的关键组件（GPU/NPU、RDMA网卡、高性能存储、调度器）及其协作关系；
- 掌握从单机多卡到多机多卡扩展时的网络与存储瓶颈判断方法；
- 建立对后续章节（驱动安装、容器化、分布式框架配置、性能调优）的整体认知框架。
1.2 课程结构总览
本课程共30章，按“基础→搭建→优化→实战”四个阶段递进。前5章夯实硬件与网络基础，第6-15章完成训练集群的软件栈部署，第16-22章转向推理集群的轻量化与高并发设计，第23-28章覆盖监控、容错与安全，最后两章通过综合案例串联全部知识点。
| 阶段 | 章节范围 | 核心交付物 |
|---|---|---|
| 基础篇 | 第1-5章 | 硬件选型清单、网络拓扑设计、BIOS与固件配置 |
| 训练集群搭建 | 第6-15章 | 可运行的分布式训练环境（含Slurm/K8s调度） |
| 推理集群搭建 | 第16-22章 | 支持高并发低延迟的推理服务（含TensorRT/ vLLM） |
| 运维与实战 | 第23-30章 | 监控告警体系、故障演练报告、端到端部署案例 |
1.3 AI训练推理集群概述
AI集群的本质是将大量加速卡（GPU/NPU）通过高速网络互联，并配合分布式存储与调度系统，对外提供统一算力。训练集群与推理集群虽然共享底层硬件，但设计哲学截然不同：
- 训练集群追求高带宽、低延迟的集合通信（如All-Reduce），因为每轮迭代都需要同步梯度，网络性能直接决定GPU利用率；
- 推理集群更关注吞吐量与响应延迟的平衡，常采用模型并行、动态批处理、量化等手段，对网络带宽要求低于训练，但对调度灵活性要求更高。
一个典型的AI集群硬件栈包含四个层次：
- 计算节点：每台服务器插有8张GPU（如NVIDIA H800/A800或华为昇腾910B），通过PCIe Switch与CPU互联；
- 网络层：采用InfiniBand或RoCE（RDMA over Converged Ethernet）组网，带宽通常为400Gbps/端口，拓扑多为Fat-Tree或Torus；
- 存储层：并行文件系统（如Lustre、BeeGFS）或分布式对象存储（如MinIO），提供数十GB/s的聚合读写带宽；
- 软件层：包含NVIDIA驱动、CUDA/ROCm、容器运行时（Docker+Enroot或Singularity）、作业调度器（Slurm/K8s）、分布式框架（PyTorch DDP/DeepSpeed）。
1.4 典型应用场景与部署案例
不同业务场景对集群的配置要求差异巨大，以下是三个最常见的部署形态：
场景一：大语言模型（LLM）训练集群
- 规模：512~2048张GPU，采用3D并行（数据并行+张量并行+流水线并行）；
- 网络要求：必须使用InfiniBand，且每张GPU至少配1个400G端口，否则通信将严重拖慢训练；
- 存储：需要高性能并行文件系统存放检查点（Checkpoint），单次保存可达数百GB；
- 典型软件：Slurm + PyTorch + Megatron-LM/DeepSpeed。
场景二：CV/多模态推理集群
- 规模：8~32张GPU，通常配合K8s进行弹性伸缩；
- 网络要求：RoCE即可满足，延迟敏感度低于训练；
- 关键指标：P99延迟 < 100ms，吞吐量 > 1000 QPS；
- 典型软件：K8s + Triton Inference Server + TensorRT。
场景三：科研机构混合负载集群
- 规模：64~128张GPU，同时运行训练与推理任务；
- 核心挑战：资源隔离与优先级调度，避免推理任务被训练任务饿死；
- 解决方案：Slurm的QOS（Quality of Service）配合cgroup隔离，或K8s的Namespace+ResourceQuota。
1.5 常见误区与设计复盘
在规划集群时，初学者常犯以下错误，需要特别警惕：
误区一：盲目追求GPU型号而忽视网络瓶颈
例如购买了8张H800，却只配置了25Gbps以太网。在数据并行训练中，每步迭代的梯度同步时间将超过计算时间，导致GPU利用率不足30%。正确做法：先估算通信量（梯度大小×参数数量），再反推所需网络带宽。
误区二：存储系统未做读写分离
将训练数据、检查点、日志全部放在同一存储池。当训练任务周期性写入检查点时，数据读取延迟飙升，导致数据加载成为瓶颈。正确做法：热数据（训练集）放在NVMe缓存，检查点写入独立的并行文件系统，日志走低性能存储。
误区三：忽略CPU与内存的配置
GPU服务器并非只堆GPU即可。数据预处理（如JPEG解码、Tokenization）非常消耗CPU。若CPU核心数不足或内存带宽不够，GPU仍会因等待数据而空闲。经验值：每张GPU至少配16个物理核心和256GB内存。