第三节 AI算力集群硬件与网络：GPU/TPU加速器、高速互联与存储拓扑
核心原理：从单卡算力到集群算力的跨越
AI算力集群的硬件基础并非简单地将多张加速卡放入机箱，而是围绕算力密度、互联带宽与存储时延三个核心维度进行系统设计。单张GPU（如NVIDIA H100）或TPU（如Google TPU v5）已具备强大的浮点运算能力，但大模型训练（如GPT-4级别）所需的参数规模远超单卡显存容量，必须将模型切分到多张卡上并行计算。此时，卡间通信的带宽与延迟直接决定了集群的线性扩展效率。
以数据并行训练为例，每轮梯度同步需要将所有卡上的梯度数据聚合。若使用PCIe 5.0 x16（单向带宽约64GB/s）互联，通信时间可能占据训练总时间的30%以上；而采用NVLink 4.0（单向带宽900GB/s）或InfiniBand NDR（400Gb/s）后，通信占比可降至5%以内。因此，硬件拓扑设计的本质是“让数据以最短路径、最高带宽抵达目标计算单元”。
关键硬件层次拆解：
- 加速器层：GPU/TPU/NPU，负责矩阵乘加运算，显存容量与带宽决定单卡可承载的模型规模。
- 节点内互联层：NVLink/NVSwitch（GPU）、TPU环状互联（TPU v4），实现8卡或更大规模的全互联。
- 跨节点网络层：InfiniBand（IB）或RoCEv2（RDMA over Converged Ethernet），连接数百至数千个节点。
- 存储层：并行文件系统（Lustre/GPFS）或对象存储（Ceph），提供检查点保存与数据集读取能力。
方法流程：构建集群硬件拓扑的决策路径
在实际部署AI算力集群时，需遵循“模型需求→算力选型→互联匹配→存储规划”的流程。首先分析目标模型的并行策略：若采用张量并行（如Megatron-LM），则要求节点内GPU间具备超高带宽（NVLink），因为每层Transformer的矩阵分块需要频繁的AllReduce通信；若采用流水线并行，则对跨节点带宽要求相对较低，但对存储带宽要求更高（需频繁加载中间激活值）。
- 确定加速器类型：训练密集型任务选GPU（通用性强），推理或特定矩阵运算可选TPU（Google生态）或自研NPU（如华为昇腾）。需对比显存容量、TFLOPS、功耗墙。
- 设计节点内互联：8卡GPU服务器通常采用NVSwitch全互联架构，任意两卡间通信带宽一致（避免传统环形拓扑的“远距离”瓶颈）。TPU v4采用4×4×2的3D环状互联，相邻TPU间带宽达448GB/s。
- 选择跨节点网络：大规模集群（超过64节点）优先选择InfiniBand，因其具备无损网络特性（基于信用值的流控），而RoCEv2需要额外配置PFC（优先级流控）以避免丢包导致RDMA性能骤降。
- 规划存储层次：热数据（训练数据集）存放于NVMe并行文件系统，检查点文件通过异步方式写入对象存储，元数据服务需独立部署以避免IOPS瓶颈。
网络拓扑选型速查表：
| 集群规模 | 推荐拓扑 | 典型带宽 | 关键考量 |
|---|---|---|---|
| 单机8卡 | NVSwitch全互联 | 900GB/s（卡间） | 显存容量决定模型上限 |
| 4-16节点 | 胖树（Fat-Tree） | 400Gb/s（跨节点） | 交换机层级少，时延低 |
| 16-64节点 | 两层InfiniBand | 400Gb/s×多轨 | 需启用自适应路由 |
| 64节点以上 | 3D-Torus或 Dragonfly | 200-400Gb/s | 关注网络直径与功耗 |
案例场景：千卡级GPU集群的硬件配置
某互联网公司需训练700亿参数大模型，采用1024张NVIDIA A100（80GB）组建集群。硬件规划如下：
- 节点配置：128台服务器，每台8卡A100，通过NVSwitch实现卡间全互联，NVLink总带宽达600GB/s。
- 网络架构：采用两层InfiniBand胖树拓扑，核心层部署16台IB交换机（每台64端口），边缘层128台交换机（每台32端口）。每台服务器配置8张HDR 200Gb/s IB网卡（对应8张GPU），实现无阻塞通信——即任何GPU跨节点通信带宽等于其本地NVLink带宽。
- 存储系统：部署Lustre并行文件系统，使用48个OSS（对象存储服务器），每个OSS配置2块NVMe SSD（3.2TB），聚合读写带宽达200GB/s，元数据服务器采用双机热备。
实际训练中，该集群在千亿参数模型下实现了线性扩展效率92%（对比64卡时的基线），通信开销仅占训练总时长的7%。关键优化点在于：将梯度AllReduce操作与反向传播计算重叠，利用IB的RDMA写操作直接写入对端GPU显存，避免CPU内存拷贝。
误区与复盘：硬件部署中的常见陷阱
误区1：盲目追求单卡算力而忽略互联带宽
某团队采购了最新款GPU，但沿用旧式万兆以太网互联。训练时发现，虽然单卡算力提升50%，但整体训练速度反而下降——因为梯度同步时间从原来的15%暴增至45%。复盘结论：当模型并行度较高时，互联带宽比单卡算力更影响端到端性能。
误区2：存储系统成为隐藏瓶颈
集群计算资源充足，但每次检查点保存需要3分钟（每10分钟保存一次），导致有效训练时间仅占70%。检查发现，存储系统使用NFS挂载，单线程写入性能仅200MB/s。升级为并行文件系统并启用多通道写入后，检查点时间降至20秒，有效训练时间提升至95%。
复盘要点：硬件规划必须采用“木桶原理”视角——计算、互联、存储三者的峰值带宽应匹配。建议在部署前使用NCCL-Test工具验证节点内及跨节点的实际通信带宽，使用IOR测试存储聚合带宽，确保各环节均无短板。此外，还需关注功耗与散热设计：8卡GPU服务器满载功耗可达10kW以上，需采用液冷或高密度风冷方案，否则热降频将导致实际算力远低于理论峰值。