📚 课程目录第3章 AI计算网络集成基础

3. AI计算网络集成基础

在AI训练集群中，计算网络决定了GPU之间梯度同步、参数交换和集合通信的效率。当单机内NVLink带宽达到数百GB/s时，跨节点网络若仍停留在25G/100G以太网水平，就会成为整个集群的瓶颈。本节围绕两条主流技术路线——InfiniBand与RoCEv2——展开协议对比、网卡选型、交换机配置与拓扑设计，帮助你在实际集成中做出可落地的判断。

一、协议本质：从物理层到传输语义的差异

InfiniBand是一套独立的端到端网络体系，从物理层、链路层到传输层均为专用设计，采用基于信用的流控和硬件卸载的可靠传输，典型时延可低至1微秒以下，且天然支持RDMA（远程直接内存访问）。RoCEv2则是把RDMA语义承载在标准以太网之上：它保留IB的传输层（IBTA定义的RoCEv2封装），但底层跑在UDP/IP之上，因此可以复用现有以太网交换机和运维体系，代价是对无损网络配置要求极高。

两者最关键的工程差异在于拥塞控制与丢包处理。InfiniBand链路层自带基于信用的流控，交换机端口不会因瞬时拥塞而丢包；RoCEv2依赖PFC（优先级流控）和ECN（显式拥塞通知）构建无损以太网，一旦PFC配置不当或ECN阈值设置不合理，就会出现PFC风暴、死锁或吞吐骤降。因此，选择RoCEv2意味着你必须同时掌握DCB（数据中心桥接）全套配置。

二、网卡选型：从GPU配比反推端口带宽

网卡选型不是孤立地看单卡速率，而是从GPU与网络带宽配比出发。以8卡GPU服务器为例，若采用NCCL AllReduce，每张GPU需要与其它7张GPU交换梯度。经验上，训练场景中每张GPU对应的网络带宽建议不低于GPU显存带宽的1/10。以H100 SXM（显存带宽约3.35TB/s）为例，单GPU网络带宽建议在200G～400G之间。因此8卡节点通常配置8张单端口200G或400G网卡，或4张双端口200G网卡。

InfiniBand侧常见选型为NVIDIA ConnectX-7（NDR 400G）或ConnectX-6（HDR 200G），配合Quantum-2交换机；RoCEv2侧可选用ConnectX-6 Dx/7或Broadcom Thor系列，配合支持PFC/ECN的以太网交换机。选型时需重点确认：是否支持GPUDirect RDMA（避免数据经CPU内存中转）、是否支持PCIe 5.0 x16（400G网卡需足够PCIe带宽）、以及是否支持SR-IOV或ASAP2以适配虚拟化或多租户场景。

三、交换机配置：RoCEv2的无损网络要点

InfiniBand交换机配置相对简单，主要工作是子网管理器（SM）部署、分区（PKey）划分和QoS策略。RoCEv2交换机则必须完成一套DCB配置，核心是PFC与ECN的配合。以下为典型RoCEv2交换机配置片段（以通用CLI风格示意，参数为示例值）：

# 1. 定义优先级与DSCP映射
priority-flow-control priority 3
dscp-map 26 to priority 3

# 2. 在面向GPU的端口启用PFC
interface ethernet 1/1-1/32
  priority-flow-control mode on
  priority-flow-control priority 3

# 3. 配置ECN（WRED）阈值
wred ecn
  queue 3 ecn min-threshold 150000 max-threshold 1500000
  queue 3 ecn drop-probability 10

# 4. 验证
show priority-flow-control
show interface counters priority-flow-control
show queue ecn statistics

配置完成后，必须通过show interface counters priority-flow-control观察PFC暂停帧计数。若某端口PFC计数持续增长，说明该链路存在持续拥塞，需要检查ECN阈值是否过低或流量是否过度集中。理想状态是PFC计数接近零，而ECN标记计数正常增长——这意味着拥塞在队列层面被平滑，而非靠暂停链路解决。

PFC死锁是RoCEv2集群最危险的故障之一：当多个交换机端口因缓冲区耗尽互相发送暂停帧时，整条路径可能完全停滞。防范措施包括：确保PFC仅作用于RoCE优先级、配置看门狗（PFC watchdog）自动恢复、以及避免跨Pod的PFC传播。

四、拓扑设计：从Fat-Tree到Rail-Optimized

AI集群拓扑设计直接影响AllReduce效率。传统三层Fat-Tree（核心-汇聚-接入）提供无阻塞带宽，但成本和布线复杂度高。对于GPU集群，更常用的是Rail-Optimized拓扑：每台服务器上的第i张网卡连接到第i个Leaf交换机，形成多条独立Rail。这样在AllReduce的Ring算法中，同一Rail内的GPU可以直接通信，跨Rail流量则通过Spine层转发。

以64节点、每节点8张400G网卡为例：可设计8个Rail，每个Rail由2台Leaf交换机组成（每台32端口），共16台Leaf；Spine层配置8台交换机，每台Leaf上行到所有Spine。该拓扑下，同一Rail内通信为单跳，跨Rail通信为三跳（Leaf-Spine-Leaf），整体收敛比可控制在1:1至1:3之间。实际部署时，建议将同一Rail的网卡与Leaf端口按固定映射规划，避免线缆交叉导致的运维困难。

拓扑设计完成后，建议用ibnetdiscover（IB）或LLDP邻居表（RoCEv2）核对实际连线与规划是否一致，并在NCCL测试中观察busbw是否达到理论带宽的70%以上作为验收基线。

综合来看，InfiniBand适合追求极致时延和低运维复杂度的大规模训练集群，RoCEv2适合已有以太网体系、希望统一运维且能承担DCB配置复杂度的场景。网卡选型以GPU带宽配比为起点，交换机配置以PFC/ECN无损调优为核心，拓扑设计以Rail-Optimized为AI集群首选。三者协同，才能让计算网络真正匹配GPU算力。