2. 数据中心网络基础

在传统企业园区网络中,我们习惯把网络理解为“用户访问服务器”的南北向通道:客户端请求从外部进入数据中心,服务器响应后再返回。但在现代数据中心里,真正占据带宽主体的往往是服务器之间的通信——虚拟机迁移、分布式存储副本同步、大数据 Shuffle、微服务调用链、AI 训练的参数同步,这些流量都发生在机架内部或机架之间,方向是横向的。这就是东西向流量(East-West Traffic)。

理解东西向流量的规模,是理解数据中心网络为何采用 Leaf-Spine 架构的起点。假设一个机架内有 20 台服务器,每台服务器需要与同机架其他 19 台以及跨机架的上百台服务器通信,那么任意一台服务器产生的流量,都可能需要经过汇聚层再分发到其他机架。如果网络仍按“接入—汇聚—核心”三层树形结构设计,汇聚层和核心层就会成为所有横向流量的必经瓶颈。Leaf-Spine 的本质,就是用大量等价路径把这种横向通信打散,让任意两台服务器之间的流量最多只经过两台交换机。

收敛比与超订比:衡量网络是否“够宽”的两个尺度

要判断一个数据中心网络能否承载东西向流量,最常用的两个指标是收敛比(Convergence Ratio)和超订比(Oversubscription Ratio)。两者都描述“下行带宽”与“上行带宽”的比例关系,但观察位置和用途略有不同。

收敛比通常指交换机下行端口总带宽与上行端口总带宽之比。例如一台 Leaf 交换机有 48 个 10Gbps 下行端口连接服务器,另有 8 个 40Gbps 上行端口连接 Spine,则下行总带宽为 480Gbps,上行总带宽为 320Gbps,收敛比约为 1.5:1。超订比则更强调“用户侧可用带宽”与“网络侧承诺带宽”的比值,常用于描述接入层到汇聚层之间的超额分配程度。若 48 台服务器同时以 10Gbps 满速发送,而只有 320Gbps 上行,则超订比同样是 1.5:1。两者在数值上可能一致,但收敛比偏向端口能力比,超订比偏向业务承诺比。

收敛比越小,网络越接近无阻塞;收敛比越大,越容易在突发流量下出现排队和丢包。实际设计中,计算型业务常取 3:1 到 5:1,存储和 AI 训练场景常要求 1:1 甚至更低。需要强调的是,收敛比是设计参数,不是实测结果;它描述的是端口带宽的静态比例,而实际拥塞还取决于流量模型、哈希分布和缓存策略。

Leaf-Spine 东西向流量与收敛比示意 下行 48×10G = 480Gbps,上行 8×40G = 320Gbps,收敛比 ≈ 1.5:1 Spine 层(上行汇聚) Spine-1 Spine-2 Spine-3 8×40G 8×40G 8×40G Leaf 层(下行接入) Leaf-1 Leaf-2 Leaf-3 48×10G 48×10G 48×10G 服务器接入(东西向流量源/宿) Server 组 A Server 组 B Server 组 C 东西向流量:Server A ↔ Server C,经 Leaf-1 → Spine → Leaf-3 收敛比 = 480Gbps ÷ 320Gbps ≈ 1.5 : 1

CLOS 网络:无阻塞交换的结构基础

Leaf-Spine 并不是凭空发明的拓扑,它的理论根源是 1953 年 Charles Clos 提出的CLOS 网络。CLOS 网络是一种多级交换结构,由输入级、中间级和输出级组成,每一级都有多个交换单元,级与级之间采用全互联或部分互联。其核心结论是:只要中间级交换单元的数量足够,并且每一级的连接关系满足一定条件,整个网络就可以做到无阻塞(Non-blocking)。

把 CLOS 映射到数据中心:Leaf 相当于输入/输出级,Spine 相当于中间级。每台 Leaf 都连接到所有 Spine,每台 Spine 也都连接到所有 Leaf,形成全互联的二分图。当一台 Leaf 需要把流量送到另一台 Leaf 时,它可以选择任意一台 Spine 作为中转。只要 Spine 数量足够,并且上行带宽不小于下行带宽,就可以实现无阻塞交换。

严格意义上的无阻塞有三种常见定义:严格无阻塞(Strictly Non-blocking)指任意空闲输入到任意空闲输出总能建立连接,无需重排已有连接;可重排无阻塞(Rearrangeably Non-blocking)指通过重新安排已有连接可以建立新连接;概率无阻塞则允许在极低阻塞概率下工作。数据中心 Leaf-Spine 通常追求的是“收敛比 1:1 的严格无阻塞”,但出于成本考虑,很多生产网络实际采用 1.5:1 或 3:1 的收敛比,属于“有收敛但可接受”的设计。

从参数到判断:一个可复算的示例

下面用一个具体例子把上述概念串起来。假设某 Leaf 交换机有 48 个 10Gbps 下行端口和 6 个 100Gbps 上行端口。下行总带宽 = 48 × 10 = 480Gbps,上行总带宽 = 6 × 100 = 600Gbps。此时收敛比 = 480 ÷ 600 = 0.8:1,上行带宽大于下行带宽,属于无阻塞设计。若把上行改为 4 个 100Gbps,则上行总带宽 = 400Gbps,收敛比 = 480 ÷ 400 = 1.2:1,开始出现轻微收敛。若上行只有 2 个 100Gbps,收敛比 = 480 ÷ 200 = 2.4:1,突发流量下排队概率明显上升。

判断一个网络是否满足业务需求,不能只看收敛比数值,还要结合流量模型。例如,若 48 台服务器中只有 10 台经常跨机架通信,其余以机架内通信为主,则即使收敛比 2.4:1,实际拥塞也可能不明显;反之,若所有服务器都参与分布式训练,每台都需要持续向其他机架发送梯度,则 1.2:1 也可能不够。因此,收敛比是设计起点,流量矩阵才是最终判据。

设计提示:在 Leaf-Spine 中,Spine 数量决定了上行带宽上限。若每台 Leaf 需要 N 条上行链路,则 Spine 数量至少为 N(每台 Spine 提供一条上行端口)。增加 Spine 可以降低收敛比,但也会增加 Leaf 的上行端口消耗和布线复杂度。实际选型时,通常先确定服务器接入密度和东西向流量比例,再反推 Spine 数量。

无阻塞交换的工程含义

“无阻塞”在工程上并不意味着“永不丢包”。它只保证在理想流量模型下,任意输入到任意输出的带宽需求都能被满足。实际网络中,多个输入同时竞争同一个输出端口时,仍会发生内部竞争;此外,哈希不均、TCP Incast、微突发等也会导致瞬时拥塞。因此,无阻塞交换通常需要配合ECMP 等价多路径、动态负载均衡和拥塞控制一起使用,才能把理论带宽转化为实际吞吐。

在 Leaf-Spine 中,ECMP 让同一对 Leaf 之间的流量可以分散到多条 Spine 路径上。若哈希算法均匀,每条上行链路的利用率接近平均值;若哈希不均,某条 Spine 可能先拥塞,而其他 Spine 仍然空闲。这也是为什么现代数据中心交换机强调“自适应路由”和“动态哈希”的原因——它们试图在无阻塞结构之上,进一步逼近无阻塞的实际效果。

总结来看,东西向流量是需求,收敛比和超订比是量化需求的尺子,CLOS 网络是满足需求的结构模型,无阻塞交换是设计目标。四者层层递进:先看清流量方向,再算清带宽比例,然后选对拓扑,最后用路由和拥塞控制把理论能力落地。理解这条逻辑链,是后续学习 Leaf-Spine 具体组网、VXLAN 叠加和 EVPN 控制面的基础。