1. 数据中心网络演进与Underlay/Overlay定位
要理解数据中心网络为什么会出现Underlay与Overlay的分层,必须回到它最初要解决的问题。早期数据中心普遍采用传统三层架构:接入层(Access)负责服务器接入,汇聚层(Aggregation)负责策略与网关,核心层(Core)负责高速转发。这套结构在南北向流量为主的时代运行良好——用户请求从外部进入,服务器响应后返回,流量像一棵树一样上下流动。
但数据中心内部的东西向流量改变了这一切。分布式存储、虚拟机迁移、大数据计算、微服务调用,让服务器之间的通信量远超进出数据中心的流量。传统三层架构的瓶颈随之暴露:
- 收敛比过高:接入层上行链路通常远小于下行端口总带宽,东西向流量在汇聚层形成拥塞。
- STP阻塞链路:为防环,生成树协议会阻塞冗余链路,造成带宽浪费,且故障收敛慢。
- 网关位置僵化:VLAN与子网绑定在汇聚层,虚拟机跨子网迁移困难,二层域被限制在单台汇聚设备下。
- 扩展性受限:核心层设备成为性能与端口密度的双重瓶颈,横向扩展代价高。
Spine-Leaf架构正是为东西向流量设计的Clos网络。Leaf交换机连接服务器,Spine交换机只连接Leaf,Leaf之间不直连。任意两台服务器通信,路径固定为“Leaf→Spine→Leaf”,跳数一致、时延可预测。每台Leaf上行到所有Spine,形成等价多路径(ECMP),流量可逐流负载分担,不再依赖STP阻塞链路。当带宽不足时,横向增加一台Spine或Leaf即可线性扩容,收敛比可通过“Leaf上行端口数×Spine数量”与“Leaf下行端口数”的比值来估算。例如一台Leaf有48个下行10G端口、8个上行40G端口,接4台Spine,则下行总带宽480G,上行总带宽320G,收敛比约1.5:1,远优于传统架构常见的4:1甚至更高。
Spine-Leaf解决了物理拓扑的扩展与带宽问题,但业务侧的需求仍在增长:多租户隔离、虚拟机跨子网迁移、跨机房二层互通、安全策略随虚机移动。如果继续用VLAN和传统路由实现,会重新陷入“网络跟着物理位置走”的困境。于是网络被拆成两层职责:
Underlay(底层网络):由Spine-Leaf物理设备与它们之间的IP路由组成,负责“把包从一台Leaf送到另一台Leaf”。它只关心可达性与转发效率,通常运行OSPF或BGP,配合ECMP实现无阻塞转发。Underlay不感知租户、不感知虚拟机,是一张稳定、简单、高速的IP承载网。
Overlay(叠加网络):运行在Underlay之上的虚拟网络,通过隧道封装(如VXLAN)在物理IP网络上构建逻辑二层/三层网络。它负责租户隔离、网段划分、虚机迁移与策略跟随。Overlay的端点通常是Leaf上的VTEP(VXLAN Tunnel Endpoint),虚机的MAC/IP被封装进UDP报文,在Underlay中透明传输。
两者的关系可以这样理解:Underlay是“公路网”,只负责把车从A点送到B点;Overlay是“公路上的集装箱运输”,箱子里装什么、属于谁、送到哪个仓库,由Overlay自己决定,公路网无需知道。这种解耦带来一个关键好处——物理网络与业务网络可以独立演进:扩容Underlay不影响租户网段规划,调整Overlay策略也不需要改动底层路由。
从实际部署看,Underlay通常选择BGP作为路由协议,因为BGP策略丰富、邻居关系清晰,且Spine-Leaf天然适合eBGP对等。每台Leaf与每台Spine建立BGP邻居,Leaf将自己的Loopback地址和服务器网段通告给Spine,Spine再反射给其他Leaf。这样任意两台Leaf的VTEP地址互相可达,Overlay隧道才能建立。一个常见的教学示例参数是:Leaf的VTEP地址用Loopback0,如10.0.0.1/32;Spine的Loopback0为10.0.0.101/32;Leaf与Spine之间用10.1.x.x/30互联,AS号Leaf用65001、Spine用65000。配置完成后,在Leaf上执行show ip route 10.0.0.2/32应能看到经Spine的ECMP路径,这是Underlay就绪的判断依据。
Overlay侧则关注VNI与VLAN的映射、VTEP的发现和隧道状态。以VXLAN为例,Leaf作为VTEP,为每个租户分配一个VNI,本地VLAN与VNI做1:1映射。当VM-A1(在Leaf-1)访问VM-A2(在Leaf-3)时,Leaf-1查MAC表发现目的在远端VTEP,于是封装外层UDP/IP头,源为Leaf-1的VTEP地址,目的为Leaf-3的VTEP地址,VNI字段标识租户A。Underlay按普通IP包转发到Leaf-3,Leaf-3解封装后根据VNI和目的MAC送到VM-A2。整个过程Underlay设备不感知VNI,只做IP转发。
典型应用场景由此清晰:多租户云平台用Overlay实现租户隔离与自助网段;虚拟机跨物理机迁移时,Overlay保证IP和MAC不变,迁移后只需更新VTEP映射;跨数据中心二层互通可通过Overlay隧道延伸,避免物理二层直连;安全策略可以绑定在VNI或VTEP上,随虚机移动而移动。Underlay则专注于提供高带宽、低时延、无环的IP承载,两者各司其职,共同支撑现代数据中心的弹性与规模。
判断一个设计是否合理,可以问两个问题:Underlay是否足够简单稳定,只做IP转发?Overlay是否把租户、网段、策略都收敛到VTEP侧,而不依赖物理位置?如果答案都是肯定的,分层职责就落到了实处。