1. NVIDIA高速数据中心网络拓扑选型与Spine-Leaf设计

NVIDIA高速数据中心网络拓扑选型与Spine-Leaf设计 学习卡片

从机柜规模到 Spine-Leaf 参数

本案例给定 4 个机柜,每柜 16 台服务器,服务器双上行 25GbE,要求收敛比不超过 3:1。目标是算出 Leaf 数量、每台 Leaf 下行端口数、上行链路数、Spine 数量,并给出 Spectrum 设备选型与线缆方案。

第一步:确定接入侧总端口与 Leaf 数量

服务器总数为 4 × 16 = 64 台。每台服务器双上行,接入侧需要 64 × 2 = 128 个 25GbE 下行端口。若选用 32 端口 25GbE 的 Leaf 交换机,则 Leaf 数量 = 128 ÷ 32 = 4 台,每柜部署 1 台 Leaf,每台 Leaf 下挂 16 台服务器、占用 32 个下行端口。

第二步:按收敛比计算上行链路

收敛比定义为下行总带宽 ÷ 上行总带宽。每台 Leaf 下行 32 × 25G = 800G。要求收敛比 ≤ 3:1,则每台 Leaf 上行带宽至少为 800G ÷ 3 ≈ 266.7G。若上行使用 100GbE 端口,则每台 Leaf 至少需要 3 条 100G 上行(300G),实际收敛比 = 800 ÷ 300 ≈ 2.67:1,满足要求。4 台 Leaf 共需 4 × 3 = 12 个 100G 上行端口。

第三步:确定 Spine 数量与端口分配

Spine 侧需要提供 12 个 100G 下行端口。若选用 32 端口 100GbE 的 Spine 交换机,单台即可满足端口数量,但为满足冗余与等价多路径,至少部署 2 台 Spine。每台 Spine 连接每台 Leaf 1 条 100G 链路,则每台 Spine 使用 4 个下行端口,2 台 Spine 共 8 个下行端口,剩余端口可用于上行或未来扩展。此时每台 Leaf 的 3 条上行分别连接到 3 台 Spine 才能达到 3 条;若只有 2 台 Spine,则每台 Leaf 最多 2 条上行,收敛比变为 800 ÷ 200 = 4:1,不满足要求。因此 Spine 数量应取 3 台,每台 Leaf 向 3 台 Spine 各上联 1 条 100G,总上行 12 条,收敛比 2.67:1。

参数汇总:服务器 64 台;Leaf 4 台(32×25G 下行 + 3×100G 上行);Spine 3 台(每台 4×100G 下行);总上行链路 12 条 100G;收敛比 2.67:1。

第四步:设备选型与线缆规划

Leaf 可选用 NVIDIA Spectrum SN2000 系列 32 端口 25GbE 交换机,Spine 可选用 Spectrum SN3000 系列 32 端口 100GbE 交换机。服务器到 Leaf 使用 25G DAC 铜缆(机柜内短距),Leaf 到 Spine 使用 100G 多模光纤或 DAC(跨机柜距离决定)。每台 Leaf 的 3 条上行分别接入 3 台 Spine,形成 4×3 的 Full-Mesh 上行结构。

Spine 层(3 台 100GbE 交换机) Spine-1 32×100G Spine-2 32×100G Spine-3 32×100G Leaf 层(4 台 25GbE 交换机) Leaf-1 32×25G 下行 3×100G 上行 Leaf-2 32×25G 下行 3×100G 上行 Leaf-3 32×25G 下行 3×100G 上行 Leaf-4 32×25G 下行 3×100G 上行 服务器层(4 机柜 × 16 台 = 64 台) 机柜 1 16 台服务器 机柜 2 16 台服务器 机柜 3 16 台服务器 机柜 4 16 台服务器 关键参数与选型 100G 上行链路(12 条,每 Leaf 3 条) 25G 服务器接入(每 Leaf 32 端口) 收敛比 = 800G ÷ 300G ≈ 2.67:1 Leaf 选型:Spectrum SN2000 系列 Spine 选型:Spectrum SN3000 系列

方案验证要点

  • 收敛比验证:每台 Leaf 下行 800G,上行 3×100G=300G,800÷300≈2.67,小于 3,满足要求。
  • 冗余验证:每台 Leaf 连接 3 台 Spine,任意 1 台 Spine 故障后仍有 2 条 100G 上行,收敛比变为 800÷200=4:1,带宽下降但业务不中断。
  • 端口余量:每台 Spine 使用 4 个下行 100G 端口,剩余 28 个端口可用于上行或扩展;每台 Leaf 使用 3 个上行 100G 端口,剩余端口可做堆叠或管理。
  • 线缆核对:服务器到 Leaf 使用 25G DAC,长度不超过 3m;Leaf 到 Spine 跨机柜使用 100G 多模光纤,长度按实际走线距离预留 20% 余量。

若后续服务器数量增加到 96 台,接入端口需求变为 192 个,Leaf 需从 4 台增至 6 台。此时 Spine 下行端口需求为 6×3=18 个,3 台 Spine 仍可满足,但每台 Spine 需使用 6 个下行端口。建议在初始设计时为 Spine 预留至少 50% 端口余量。