集群架构基础：从单机到集群的进化之路
说实话，我第一次接触集群这个概念时，觉得挺玄乎的。不就是把一堆机器连起来嘛？后来真正上手做项目才发现，这里面的门道比想象中深得多。今天我就带你从零开始，把集群的底裤扒干净。
什么是集群？
集群，说白了就是一群计算机协同工作，对外表现得像一台超级计算机。你想想看，单机再强也有天花板——CPU核心数有限、内存插槽有限、PCIe通道有限。但集群不一样，它可以通过网络把成百上千台机器拧成一股绳。
我在2018年帮一家互联网公司搭建过推荐系统集群，当时他们单机训练一个模型要跑三天。后来改成8节点集群，时间直接压缩到4小时。这就是集群的魅力——用数量换质量，用并行换时间。
集群分类：三种主流玩法
集群不是一刀切的方案。根据用途不同，我习惯把它们分成三类：
1. HPC集群（高性能计算）
这类集群追求的是极致算力。典型场景是气象预报、基因测序、流体力学模拟。它们对CPU浮点运算能力要求极高，对网络延迟极其敏感。
核心特征：
- CPU密集型，GPU可有可无
- 需要InfiniBand或OmniPath等低延迟网络
- 任务通常是MPI并行模型
- 存储以Lustre、GPFS等并行文件系统为主
2. AI训练集群
这是目前最火的类型。我去年刚帮一家自动驾驶公司搭过训练集群，规模是64节点，每节点8张A100。这类集群有几个特点：
- GPU是核心，CPU反而成了配角
- 需要NVLink、NVSwitch等高速GPU互联
- 网络带宽要求极高（通常400Gbps起步）
- 存储需要高吞吐、低延迟（NVMe over Fabric是标配）
避坑指南：我曾经遇到过客户买了顶级GPU，但网络配的是25G以太网。结果训练时GPU利用率只有30%，全在等数据。记住：训练集群的瓶颈往往不在GPU，而在网络和存储。
3. 推理集群
推理集群和训练集群完全是两码事。训练追求吞吐量，推理追求低延迟。比如在线翻译、语音识别、推荐系统，用户等不了太久。
这类集群的特点是：
- GPU可以降级（T4、L4甚至CPU都能跑）
- 需要负载均衡和自动扩缩容
- 对模型部署框架有要求（TensorRT、ONNX Runtime等）
- 存储需求相对较小
集群硬件组成：四块基石
搭建一个集群，你至少需要搞定四个核心组件。我按重要性排个序：
| 组件 | 关键指标 | 常见选型 | 我的建议 |
|---|---|---|---|
| CPU | 核心数、频率、缓存 | Intel Xeon / AMD EPYC | 训练集群选高频少核，推理集群选多核低频 |
| 内存 | 容量、带宽、通道数 | DDR5 / HBM3 | AI训练至少512GB起步，HPC建议1TB+ |
| 网络 | 带宽、延迟、协议 | InfiniBand / RoCEv2 | 训练集群必须IB，推理集群RoCE够用 |
| 存储 | IOPS、吞吐量、容量 | NVMe / Lustre / Ceph | 热数据用NVMe，冷数据用HDD |
CPU：集群的大脑
很多人觉得AI集群CPU不重要，其实不然。我见过一个案例：某团队用AMD EPYC 7763（64核）做数据预处理，比用Intel Xeon 8380（40核）快了将近一倍。为什么？因为数据加载、预处理、通信调度这些活，全得靠CPU扛。
选型时记住一个原则：训练集群看单核性能，HPC集群看核心数量。
内存：别让GPU饿着
内存不够，GPU就得等数据。我习惯按这个公式算：内存容量 = 模型大小 × 2 + 数据集缓存 × 1.5。比如训练一个175B参数的GPT-3，光模型就要350GB内存（FP16），再加上优化器状态、梯度、数据集缓存，1TB内存是底线。
注意：内存带宽同样重要。DDR5-4800比DDR4-3200带宽高了50%，但价格只贵了20%。这笔账怎么算都划算。
网络：集群的血管
网络是集群里最容易出问题的环节。我踩过最大的坑就是——网络拓扑设计不合理。有一次我们用了三层Clos架构，但leaf和spine的带宽配比是1:4，结果训练时通信成了瓶颈。
现在我的标准配置是：
- 训练集群：InfiniBand NDR400（400Gbps），Fat-Tree拓扑
- 推理集群：RoCEv2 100Gbps，Spine-Leaf架构
- 管理网络：25Gbps以太网，独立于业务网络
存储：数据的中转站
存储选型要看数据访问模式。我一般分三层：
- 热数据层：NVMe SSD，RAID0，用于训练数据缓存
- 温数据层：SATA SSD或HDD，用于模型检查点
- 冷数据层：对象存储（MinIO/Ceph），用于归档
这里有个技巧：训练时把数据提前加载到内存盘（tmpfs），能显著提升IO性能。我试过把ImageNet数据集放到内存盘，训练速度提升了15%。
集群架构全景图
说了这么多，咱们用一张图把整个知识体系串起来：
写在最后
集群架构这东西，光看书是学不会的。我建议你找个机会亲手搭一个小集群——哪怕只有两台机器，跑个MPI Hello World都行。只有亲手踩过坑，才能真正理解这些概念。
嗯，这一章的内容就到这儿。记住：没有最好的集群，只有最合适的集群。选型时多想想你的业务场景，别盲目追求硬件参数。
我的经验：刚开始做集群时，我总喜欢堆硬件。后来发现，架构设计比硬件配置重要十倍。一个设计合理的4节点集群，可能比一个设计混乱的16节点集群跑得更快。所以，先把架构想清楚，再谈硬件选型。
想要更多资料，联系可可