2. GPU集群基础

2.1 GPU计算原理：从并行架构到计算模型

GPU（图形处理器）最初为图形渲染设计，其核心优势在于大规模并行计算。与CPU追求低延迟、复杂控制逻辑不同，GPU将大量晶体管用于算术逻辑单元（ALU）和数据通路，形成“多核宽执行”的架构。以NVIDIA A100为例，其拥有6912个CUDA核心，而同期高端CPU核心数通常不超过64个。这种差异决定了GPU适合处理数据并行任务——同一指令作用于大量数据元素。

理解GPU计算需掌握三个层次：

• 线程层次：CUDA将线程组织为grid → block → thread三级结构。一个block内的线程可通过共享内存协作，block之间则通过全局内存通信。
• 内存层次：寄存器（每线程）、共享内存（每block）、L2缓存（每GPU）、全局显存（HBM）。带宽从寄存器约20TB/s递减至全局显存约2TB/s，延迟则从纳秒级增至数百纳秒。
• 执行模型：以warp（32线程）为调度单位，SIMT（单指令多线程）模式下，同一warp内线程必须执行相同指令，分支发散会导致串行化。

2.2 集群组成：从单机到大规模系统的层次化结构

GPU集群并非GPU服务器的简单堆叠，而是计算、存储、网络、软件四层协同的复杂系统。一个典型集群可分解为以下层次：

节点内互联是集群性能的基础。以DGX A100为例，8张GPU通过NVSwitch全连接，任意两张GPU间通信带宽达600GB/s（NVLink 3.0双向），而跨节点通信依赖InfiniBand网卡（每节点8×HDR 200Gb/s），聚合双向带宽约3.2TB/s——仍远低于节点内带宽。这种带宽不对称直接决定了分布式训练策略的选择：优先在节点内完成张量并行，跨节点仅传输梯度。

2.3 典型应用场景：三类负载的互联需求差异

不同AI工作负载对集群互联的要求差异显著，理解这些差异是优化网络架构的前提。以下三类场景最具代表性：

场景一：大语言模型训练（计算密集+通信密集）

GPT-3级别模型训练采用混合并行策略：数据并行（复制模型+梯度同步）、张量并行（按层切分）、流水线并行（按层分段）。训练过程中每步迭代需执行梯度AllReduce，通信量约等于模型大小×2（前向+反向）。以175B模型、FP16梯度（350MB）为例，每步通信量约700MB，若使用100Gb/s以太网，仅通信耗时56ms；而使用8×200Gb/s IB，通信时间降至3.5ms，可显著提升GPU利用率。

场景二：科学计算模拟（高吞吐+低延迟）

分子动力学（如GROMACS）、计算流体力学（CFD）等负载依赖域分解，相邻子域间需频繁交换边界数据。这类通信模式呈现点对点多、消息小、频率高的特点，对网络延迟极为敏感。实测表明：当消息大小从1MB降至4KB时，IB网络有效带宽下降约60%，因此RDMA（远程直接内存访问）和GPUDirect RDMA技术至关重要——它们绕过CPU和内核，实现GPU显存到网卡的直接数据通路，将单跳延迟从10μs降至2μs。

场景三：推理服务（动态负载+低延迟）

在线推理对延迟有严格SLA要求（如P99<50ms）。与训练不同，推理通常采用张量并行将单个大模型分布到多卡，每层计算需一次AllReduce。此时网络延迟直接叠加到推理延迟中。例如，GPT-3 175B推理若使用8卡张量并行，每层Transformer需2次AllReduce，共96层，网络延迟将贡献约0.5~1ms——在50ms预算中占比虽小，但若网络拥塞导致重传，延迟将急剧恶化。

2.4 集群规划误区与复盘

从多个实际集群建设项目中，我们总结出以下高频失误，值得在规划阶段提前规避：

• 误区1：过度投资节点内互联，忽视跨节点带宽。某团队采购8卡A100服务器，却仅配置2×100Gb/s网卡，导致数据并行训练时梯度同步耗时占训练总时长40%以上。复盘结论：跨节点通信是分布式扩展的硬约束，应优先保障每GPU至少200Gb/s带宽。
• 误区2：网络拓扑收敛比设计不当。采用1:4收敛比（核心链路带宽为接入的1/4）虽降低成本，但在AllReduce这类全局通信模式下，拥塞概率急剧上升。实测表明：1:4收敛比下，训练吞吐下降30%~50%。
• 误区3：忽略存储网络与计算网络的隔离。检查点写入（每N步写一次大文件）与梯度同步共用同一网络时，突发流量导致通信抖动。建议存储流量走独立RoCE网络或配置QoS策略。
• 误区4：未验证GPUDirect RDMA的完整链路。仅网卡支持RDMA不够，还需GPU、驱动、固件、交换机配合。某项目因未开启PCIe ACS（访问控制服务）导致GPUDirect性能下降70%。