RoCE组网架构：典型组网拓扑（Spine-Leaf）与设备角色
核心原理：为什么RoCE网络需要Spine-Leaf架构
RoCE（RDMA over Converged Ethernet）依赖无损以太网提供低时延、高吞吐的传输服务。传统三层树形拓扑（核心-汇聚-接入）在东西向流量（服务器到服务器）占比超过70%的分布式存储与AI训练场景中，存在明显的带宽瓶颈与故障域过大问题。Spine-Leaf（脊-叶）拓扑将网络扁平化为两层：所有Leaf交换机直接连接到所有Spine交换机，形成Full-Mesh结构。任意两台服务器之间的路径跳数固定为2跳（Leaf→Spine→Leaf），时延可预测，且通过等价多路径（ECMP）实现负载均衡。
对于RoCE网络而言，Spine-Leaf还带来一个关键收益：PFC（优先级流控）的暂停域可控。在树形拓扑中，PFC反压可能沿汇聚链路向上传播，影响无关流量；而在Spine-Leaf中，每个Leaf的PFC域仅覆盖其下行服务器与上行Spine链路，故障隔离性更好。同时，Spine-Leaf天然支持无阻塞设计——只要Spine上行带宽不小于所有Leaf下行带宽之和，即可实现1:1无收敛。
dcb pfc使能，Spine交换机则需关闭可能引发拥塞的流控协商，确保RoCEv2流量优先通过。
服务器与交换机的角色划分
在RoCE组网中，每类设备承担明确且不可替代的职责。理解角色边界是配置PFC、ECN、流控策略的前提。
| 设备角色 | 核心职责 | 关键配置项 | 常见误区 |
|---|---|---|---|
| Spine交换机 | 跨Leaf高速转发，ECMP负载均衡，不直接接入服务器 | 全局ECMP、BGP/EVPN、QoS队列映射 | 在Spine上启用PFC导致反压扩散 |
| Leaf交换机 | 接入服务器，终结RoCEv2流量，执行PFC/ECN策略 | PFC优先级映射、ECN阈值、DCBX协商 | Leaf间未启用ECMP造成单路径拥塞 |
| 服务器（智能网卡） | 发送/接收RoCEv2报文，处理RDMA操作 | RoCE模式、流控优先级、ECN标记响应 | 网卡未开启ECN导致拥塞丢包 |
方法流程：从规划到落地的关键步骤
- 容量规划：统计服务器RoCE网卡数量与速率（如100GE），确定Leaf下行端口需求；计算东西向流量比例，决定Spine数量。例如，4台Leaf各带16台100GE服务器，总下行带宽为6.4Tbps，若采用3台Spine且每台提供32×400GE上行，则上行总带宽为38.4Tbps，满足1:1无收敛。
- 拓扑连接：每台Leaf的上行端口分别连接到所有Spine。例如Leaf-1的8个400GE端口，分别连接Spine-1、Spine-2、Spine-3各2~3个端口，确保链路冗余。
- Underlay配置：Spine与Leaf之间运行BGP（或EVPN），建立等价路由。Leaf上配置
maximum-paths 8启用ECMP。 - 无损网络配置：在Leaf面向服务器的端口上启用PFC（优先级3），设置ECN阈值（如
threshold 1000），并关闭Spine端口的PFC。 - 验证与调优：使用
rdma statistics或ethtool -S检查丢包与ECN标记计数，调整缓冲区大小。
案例：AI训练集群的Spine-Leaf部署
某AI公司部署128台GPU服务器（每台8×100GE RoCE网卡）用于大模型训练。采用4台Leaf（每台48×100GE下行+8×400GE上行）和4台Spine（32×400GE）。Leaf-1连接GPU服务器1~32，Leaf-2连接33~64，以此类推。所有Leaf上行端口均分连接到4台Spine，形成Full-Mesh。实际运行中，训练流量在Leaf间产生大量东西向通信，ECMP将流量均匀散列到多条上行链路，实测吞吐达到理论值的92%。
误区与复盘：常见组网陷阱
ip route中是否存在多条等价路由，并使用show ip load-sharing验证哈希分布。
复盘要点：在组网完成后，务必进行全链路无损验证——使用iperf3或qperf打满流量，同时监控PFC暂停帧计数与ECN标记率。若发现暂停帧频繁，应调整缓冲区或ECN阈值；若ECN标记率过高，则需增大交换机缓存或优化流控参数。