1、AI集群概述：高性能计算与AI训练的关系、集群架构演进、典型硬件组成

大家好，我是老张。今天咱们聊聊AI集群。

说实话，我入行那会儿，AI训练还停留在单机单卡时代。那时候跑个ResNet-50，一张V100卡，两三天也就完事了。现在呢？动不动就是千卡、万卡集群，训练一个GPT级别的模型，电费都能烧掉一套房。

为什么会这样？说白了，模型参数规模在爆炸式增长。你想想看，从几亿参数到几千亿参数，单卡显存根本装不下。这时候，高性能计算（HPC）和AI训练就走到了一起。

1.1 高性能计算与AI训练的关系

很多人问我：HPC和AI训练到底啥关系？

我的理解是：AI训练本质上就是一种特殊的高性能计算任务。

传统HPC做的是科学计算，比如天气预报、流体力学模拟。这些任务的特点是：计算密集、通信模式固定、对精度要求极高。而AI训练呢？也是计算密集，但它的容错性更强——你算错一点点，模型可能还能收敛。

我在项目中遇到过一件事。有一次我们做气象预报的HPC集群，跑的是双精度浮点运算，一个bit都不能错。后来这个集群被改造成AI训练集群，我建议他们用混合精度训练。一开始运维团队死活不同意，觉得精度降低会出问题。结果呢？训练速度提升了3倍，模型精度反而还涨了0.5%。

嗯，这里要注意：AI训练对通信延迟更敏感。HPC任务可以等，但AI训练中，一个AllReduce操作慢了，整个集群都在空转等你。这就是为什么后来DPU（数据处理单元）会火起来。

1.2 集群架构演进

集群架构是怎么一步步走到今天的？我按时间线给大家捋一捋。

第一阶段：单机多卡时代（2015-2018）

那时候一台服务器插4张或8张GPU卡，卡间通过NVLink互联。训练小模型还行，一到大模型就抓瞎了——显存不够啊！

第二阶段：多机多卡时代（2018-2021）

大家开始把多台服务器连起来。网络从10GbE升级到100GbE，后来又有了InfiniBand。我记得第一次搭建100GbE集群时，光调试RoCEv2的流控就花了两周。

第三阶段：超大规模集群（2021至今）

现在的主流架构是：GPU服务器 + DPU + 高速交换机，组成一个胖树或3D-Torus拓扑。单集群规模从几百卡扩展到几万卡。

我画了一张架构演进图，大家感受一下：

1.3 典型硬件组成

一个典型的AI训练集群，硬件上分三块：计算、网络、存储。咱们重点说说计算和网络。

GPU：训练的核心引擎

现在主流的训练卡就两家：NVIDIA和AMD。NVIDIA的A100、H100、B200是绝对主力。AMD的MI300X也在追赶。

选GPU时，我建议关注三个指标：

• 显存容量：决定了你能装下多大的模型。H100有80GB显存，勉强能跑175B的GPT-3。
• 显存带宽：决定了数据搬运速度。H100的HBM3带宽达到3.35TB/s。
• 卡间互联：NVLink的带宽和拓扑结构。H100支持18个NVLink连接，总带宽900GB/s。

DPU：被忽视的关键角色

很多人觉得DPU可有可无。我告诉你，大错特错。

DPU的作用是：把网络、存储、安全这些"脏活累活"从CPU上卸载下来。在万卡集群中，网络中断处理、数据校验、拥塞控制这些任务，如果全让CPU干，CPU利用率能飙到80%以上，留给训练的就少了。

NVIDIA的BlueField系列、Intel的IPU、AMD的Pensando，都是这个思路。我个人习惯用BlueField-3，它内置了16个ARM核心，能独立处理网络协议栈。

交换机：集群的血管

交换机决定了集群的通信效率。目前主流方案有两种：

方案	带宽	延迟	成本	适用场景
InfiniBand NDR	400Gbps/端口	<1μs	高	超大规模集群（千卡以上）
RoCEv2	100-400Gbps	2-5μs	中	中小规模集群
以太网+DPU	100-400Gbps	1-3μs	中高	通用场景，性价比高

嗯，这里要注意：不要只看端口带宽，还要看交换机的缓存大小和流控能力。我遇到过一个问题：某品牌的交换机标称400Gbps，但缓存只有4MB。一旦出现拥塞，丢包率飙升，训练直接卡死。

1.4 小结

AI集群不是简单的硬件堆砌。高性能计算提供了并行计算的骨架，AI训练则赋予了它灵魂。从单机到万卡，架构在变，但核心逻辑没变：让每一张GPU都忙起来，让每一次通信都不浪费。

下一章，我会详细讲讲GPU服务器的选型和配置。到时候我会分享一个真实的踩坑案例——我们是怎么把一台8卡服务器从"跑不满"优化到"满载运行"的。