AI算力集群基础概念速览 - 第1节

1.1 学习目标：学完本节，你将掌握什么

本节是《AI算力集群基础概念速览》的导入章节。在开始接触GPU、NVLink、RDMA、分布式训练框架等具体技术之前，我们先建立一张“认知地图”。学完本节，你应该能够：

• 说清AI算力集群的定义——它不是一堆服务器的简单堆叠，而是为大规模AI训练/推理任务专门设计的协同计算系统。
• 理解集群的三大核心价值——算力扩展、并行加速、资源池化，并知道它们分别解决什么问题。
• 建立课程整体框架——知道后续29章将围绕“硬件→网络→软件→运维→优化”这条主线展开。
• 识别AI集群与传统HPC集群、普通数据中心的本质差异——避免用旧经验理解新系统。

1.2 课程结构：从物理到逻辑的六层递进

本课程共30章，按“自下而上、由硬到软”的顺序组织。每一章都建立在前一章的基础上，最终形成完整的集群知识体系。整体结构如下表所示：

这张表也是你后续学习的索引——遇到具体问题时，可以快速定位到对应章节。

1.3 核心原理：AI算力集群的定义与本质

AI算力集群（AI Compute Cluster）是指：由大量计算节点（通常搭载GPU/NPU加速卡）、高速互联网络、分布式存储和智能调度软件组成的，面向人工智能训练与推理任务的一体化计算系统。它的本质不是“多台电脑连在一起”，而是通过三层协同实现“一台超级计算机”的效果：

• 计算协同：将一个大模型（如千亿参数Transformer）切分成多个部分，由不同GPU并行计算，再通过梯度同步合并结果。
• 数据协同：高速网络（如NVLink、InfiniBand）保证GPU之间、节点之间的数据交换延迟在微秒级，避免“计算等数据”。
• 资源协同：调度器（如Slurm、Kubernetes）动态分配GPU、内存、网络带宽，让多个训练任务共享集群而不互相干扰。

下面这张图展示了AI算力集群的典型分层架构，以及数据从存储到计算再到结果回写的完整路径：

图中自下而上展示了四个关键层次：存储层负责提供训练数据；计算节点层是GPU密集区域，节点内通过NVLink高速互联，节点间通过RDMA网络通信；网络层是集群的“神经系统”；调度层则负责将训练任务合理分配到各个GPU上。右侧的“模型权重”输出和左侧的“检查点回写”构成了完整的数据闭环。

1.4 典型案例：为什么单机8卡不够用？

假设我们要训练一个700亿参数的大语言模型，模型权重需要约140GB显存（以FP16计算）。目前最强的单块GPU（如H100）显存为80GB，单机8卡总共640GB显存。看起来容量够用，但实际训练中还需要存储：

• 优化器状态（AdamW需要2份动量+1份方差，约3倍模型大小）
• 梯度（与模型大小相同）
• 中间激活值（根据batch size和序列长度，可能再占2-4倍）

粗略估算，训练700亿参数模型至少需要140GB × (1+1+3) ≈ 700GB显存，这已经超过单机8卡的总量。更关键的是，单机内NVLink带宽（900GB/s）远高于跨机网络带宽（50GB/s），如果模型并行度需要跨节点通信，通信延迟将直接拖慢训练速度。因此，真实的大模型训练集群通常需要数十甚至上千个节点，并通过3D并行（数据并行+张量并行+流水线并行）将模型切分到不同GPU上。

1.5 常见误区与复盘

初学者对AI算力集群最容易产生以下误解，这里逐一澄清：