📚 课程目录第2章 Underlay网络基础与设计原则

2. Underlay网络基础与设计原则

Underlay是数据中心网络的“地基”，它负责把每一台服务器、每一台交换机、每一个出口设备用物理链路和三层路由真实地连通起来。Overlay（如VXLAN）只是在Underlay之上叠加的一层逻辑隧道，隧道里的报文最终仍要由Underlay逐跳转发。因此，Underlay的拓扑形态、带宽能力和收敛速度，直接决定了整个数据中心的东西向流量能跑多快、多稳。本节围绕物理拓扑、CLOS网络、带宽收敛比、高可用要求以及路由与交换基础五个方面展开。

一、物理拓扑：从接入到核心的分层结构

传统数据中心常采用“接入—汇聚—核心”三层树形拓扑。接入层交换机连接服务器，汇聚层做策略与网关，核心层负责跨区高速转发。这种结构在南北向流量为主时表现良好，但东西向流量（服务器之间、虚拟机之间）一旦成为主流，汇聚层和核心层就会成为瓶颈，且上层设备的端口密度和带宽很难线性扩展。

现代大型数据中心普遍改用Spine-Leaf两层CLOS结构：Leaf交换机只连接服务器和Spine，Spine只连接Leaf，二者之间全互联。任意两台服务器之间的通信路径固定为“源Leaf→Spine→目的Leaf”，跳数恒定，时延可预测。服务器接入Leaf时通常采用双上行（MLAG/MC-LAG），保证单台Leaf故障时业务不中断。

二、CLOS网络：无阻塞与可扩展的数学基础

CLOS网络的核心价值在于“用大量中低端交换机堆出高端交换机的容量”。设Spine数量为S，每台Leaf上行到每台Spine的链路带宽为B，则单台Leaf的总上行带宽为 S×B。只要满足“Leaf下行总带宽 ≤ Leaf上行总带宽”，网络在理想均匀流量下就是无阻塞的。

例如：一台Leaf有48个25G下行端口连接服务器，下行总带宽为48×25G=1200G；若上行采用8条100G链路连接8台Spine，上行总带宽为8×100G=800G，则收敛比为1200:800=1.5:1，属于有收敛设计。若改为16条100G上行，上行1600G，则收敛比0.75:1，即无阻塞（1:1）。CLOS的另一个优势是可扩展：增加一台Spine，所有Leaf各加一条上行链路，总带宽线性增长，无需改动已有布线逻辑。

三、带宽收敛比：设计中的关键取舍

收敛比（Oversubscription Ratio）定义为“下行总带宽 ÷ 上行总带宽”。它反映的是：当所有服务器同时满速向外发送时，上行链路需要承载的流量是实际带宽的多少倍。收敛比1:1表示无阻塞，1.5:1表示下行需求是上行能力的1.5倍，3:1则意味着三台服务器同时满速时上行就会拥塞。

实际设计中，接入层（Leaf下行到服务器）通常取1:1到1.5:1，因为服务器网卡速率固定，且东西向流量密集；Spine-Leaf之间可取1:1到3:1，视业务模型而定。计算收敛比时要注意：不是看端口数量，而是看端口速率乘积。例如48×10G下行与4×40G上行，下行480G、上行160G，收敛比3:1。若业务以存储复制、分布式训练为主，应尽量做到1:1，否则拥塞会导致TCP重传和时延抖动。

四、高可用要求：链路、设备与协议三层冗余

Underlay的高可用需要同时覆盖链路级、设备级和协议级。链路级冗余指服务器双上行到两台Leaf，或Leaf双上行到两台Spine；设备级冗余指关键层不出现单点，例如Spine至少两台、Leaf成对部署；协议级冗余指路由协议能够快速感知故障并切换。

以服务器双上行MLAG为例：Server A的eth0接Leaf-1、eth1接Leaf-2，Leaf-1与Leaf-2之间通过peer-link同步MAC表项。当Leaf-1上行链路故障时，Leaf-1将流量通过peer-link转给Leaf-2，再由Leaf-2的Spine链路转发。整个过程依赖BFD（Bidirectional Forwarding Detection）在毫秒级检测链路故障，并触发路由重新收敛。若没有BFD，仅靠OSPF默认的40秒Dead Timer，业务会中断数十秒。

高可用设计检查点：① 任意单台Leaf故障，服务器是否仍有路径？② 任意单台Spine故障，跨Leaf流量是否自动绕行？③ 任意单条上行链路故障，收敛时间是否小于业务容忍阈值（通常<1秒）？

五、路由与交换基础：Underlay靠什么转发

Underlay通常运行三层路由到Leaf，Leaf以下可以是二层或三层。常见方案有两种：

三层到Leaf（L3到接入）：每台Leaf作为服务器的默认网关，Leaf之间通过OSPF或BGP交换主机路由。优点是环路风险低、收敛快、ECMP天然可用；缺点是网关分散，需要配合EVPN等控制面。
二层到Leaf + 三层到Spine：Leaf做VLAN接入，Spine做网关。优点是网关集中、策略简单；缺点是生成树或MLAG复杂度高，广播域较大。

无论哪种方案，Underlay的路由协议选择都遵循“简单、快速、可预测”原则。中小规模可用OSPF，配置简单、收敛快；大规模（Spine数量多、路由条目多）推荐BGP，因为BGP策略控制强、邻居关系清晰、支持ECMP多路径。ECMP（等价多路径）是CLOS网络的关键：当Leaf到Spine有多条等价路径时，哈希算法将不同流分散到不同Spine，从而把上行带宽聚合起来。哈希通常基于五元组（源IP、目的IP、源端口、目的端口、协议），同一流走同一路径，避免乱序。

# 以Leaf-1为例，BGP与ECMP关键配置片段（示例）
router bgp 65001
  neighbor 10.0.1.1 remote-as 65000   # Spine-1
  neighbor 10.0.1.2 remote-as 65000   # Spine-2
  maximum-paths 8                     # 允许8条等价路径
  address-family ipv4 unicast
    network 10.10.1.0/24
!
interface Ethernet1/1
  ip address 10.0.1.3/30
  bfd interval 300 min-rx 300 multiplier 3

上述配置中，maximum-paths 8让BGP把8条去往同一目的地的路径都装入转发表，配合BFD实现300毫秒级故障检测。当Spine-1故障时，BFD在约900毫秒内判定邻居失效，BGP撤消该路径，流量自动切换到Spine-2，业务感知不到明显中断。

六、设计原则小结

Underlay设计可以归纳为四条原则：拓扑上优先Spine-Leaf全互联，保证任意两点跳数恒定；带宽上根据业务模型确定收敛比，东西向密集场景尽量接近1:1；可用性上链路、设备、协议三层冗余，并用BFD把收敛压到亚秒级；路由上选择简单可预测的协议，启用ECMP充分利用多路径。把这四点落实，Overlay的VXLAN隧道才有稳定、高速的承载底座。