2. AI算力集群基础

2.1 从单卡到集群：为什么需要高速网络

单张GPU/NPU的算力再强，也无法独立完成大模型训练。以GPT-4级别模型为例，其参数量超过万亿，单卡显存仅能容纳数十GB参数，必须将模型切分到数千张加速卡上协同计算。这种“多卡协同”的物理基础，就是连接它们的集群高速网络。

AI算力集群的典型架构遵循“计算-网络-存储”三层解耦设计。计算层由GPU/NPU服务器组成，每台服务器通常搭载8张加速卡；网络层分为接入层（服务器内/间互联）与骨干层（跨机柜/跨集群互联）；存储层则通过独立网络或复用同一网络提供数据读写。理解这一架构，是定位网络延迟故障的第一步——因为延迟可能出现在卡间互联、服务器间、交换机队列、甚至存储访问等不同位置。

2.2 高速网络技术：InfiniBand与RoCE

AI集群对网络的核心要求是高带宽、低延迟、低CPU开销。目前主流方案是InfiniBand（IB）和RoCE（RDMA over Converged Ethernet）。两者都支持RDMA（远程直接内存访问）技术，允许网卡直接读写对端内存，绕过操作系统内核，从而将延迟降低到微秒级。

2.3 通信模式：AllReduce与集合通信

大模型训练中，GPU之间需要频繁交换梯度数据，这些操作称为集合通信（Collective Communication）。最核心的模式是AllReduce：将所有GPU的梯度求和并广播给所有GPU。其实现算法直接影响网络流量和延迟。

AllReduce的常见实现算法包括：

• Ring-AllReduce：将GPU组成环形，每个GPU只与相邻GPU通信，数据分块逐跳累加。带宽利用率高，但延迟随GPU数量线性增长。
• Tree-AllReduce：采用树形结构，先归约（Reduce）再广播（Broadcast）。延迟与树深度相关，适合大规模集群。
• 分层AllReduce：先在同一服务器内通过NVLink完成局部归约，再通过跨服务器网络完成全局归约。这是现代框架（如NCCL）的默认策略。

# NCCL环境变量示例（影响通信模式选择）
export NCCL_PROTO=Simple          # 使用简单协议（或LL/LL128）
export NCCL_ALGO=Ring             # 强制使用Ring算法
export NCCL_NET_GDR_LEVEL=5       # 启用GPUDirect RDMA
export NCCL_BUFFSIZE=16777216     # 通信缓冲区大小（字节）

2.4 案例：一次“慢训练”的初步定位

某团队训练LLaMA-13B模型，发现训练吞吐量从预期的1800 tokens/s下降到900 tokens/s。按照本节知识，他们按以下步骤排查：

1. 检查通信模式：确认NCCL使用Ring算法，且启用了分层归约。
2. 检查拓扑：执行 nvidia-smi topo -m，发现服务器内GPU0-GPU3的NVLink连接正常，但GPU4-GPU7的NVLink速率降为PCIe Gen4。
3. 检查网络：用 ib_write_bw（IB）或 perftest 测试跨服务器带宽，发现延迟从2μs升至15μs。
4. 初步结论：问题可能出在服务器B的NVLink降速，而非跨服务器网络。

这个案例说明：延迟故障定位必须从“通信模式→硬件拓扑→网络链路”逐层排查，不能一上来就怀疑交换机或光纤。

2.5 常见误区与复盘