2. Nexus DCI架构基础
在单数据中心内部,Nexus Spine-Leaf 已经成为事实上的标准架构:Spine 提供无阻塞的横向转发能力,Leaf 作为接入层承载服务器与业务网关,Underlay 通过 OSPF、IS-IS 或 BGP 提供 IP 可达性,Overlay 则通过 VXLAN 与 EVPN 提供二层/三层租户隔离与主机移动性。当业务需要跨数据中心部署时,问题不再是"要不要用 Spine-Leaf",而是"Spine-Leaf 如何延伸到 DCI 边界,以及延伸到哪里为止"。
Spine-Leaf 在 DCI 中的延伸方式
DCI 场景下,Spine-Leaf 的延伸并不是把两个站点的 Spine 直接拉成一个大 Fabric,而是通过边界设备把两个独立 Fabric 连接起来。常见的延伸方式有三种:
- Leaf 延伸(Leaf-to-Leaf DCI):在两个站点的 Leaf 之间建立 VXLAN 隧道或直接互联,Overlay 控制平面(EVPN)跨站点扩展。这种方式适合小规模双活,但 Leaf 需要承担 DCI 封装与跨站点路由,扩展性有限。
- Spine 延伸(Spine-to-Spine DCI):两个站点的 Spine 通过 DCI 链路互联,Spine 同时承担 Fabric 内转发与 DCI 边界功能。这种方式在中小规模 Fabric 中较常见,但 Spine 的端口密度和路由表规模会成为瓶颈。
- 专用边界延伸(Border Leaf / DCI Spine):在 Fabric 中增加一对专用边界设备,专门负责 DCI 互联、外部路由引入和 Overlay 边界终结。这是当前 Nexus DCI 工程中最推荐的延伸方式,因为它把"Fabric 内转发"与"跨站点互联"解耦,便于独立扩展和故障隔离。
以 Nexus 9000 系列为例,典型部署是在每个站点部署一对 Border Leaf(或 Border Spine),通过 100G/400G 链路连接 DCI 传输设备(DWDM 或 OTN),Border Leaf 上运行 EVPN 作为 Overlay 控制平面,同时通过 eBGP 与对端站点交换 DCI 路由。Fabric 内部的 Leaf 与 Spine 保持原有 Underlay 协议不变,Border Leaf 作为 EVPN 的 VTEP 之一,负责跨站点 VXLAN 隧道的建立与终结。
Underlay 与 Overlay 的边界在哪里
理解 DCI 架构的关键,是明确 Underlay 与 Overlay 的边界。Underlay 负责"IP 可达",Overlay 负责"租户隔离与主机移动性"。在单站点内,这个边界通常落在 Leaf 上:Leaf 既是 Underlay 的接入点,也是 Overlay 的 VTEP。但在 DCI 场景中,边界会发生变化。
如果采用 Border Leaf 延伸方式,Underlay 的边界实际上落在 Border Leaf 与 DCI 传输设备之间:Border Leaf 向 DCI 侧发布的是站点内 Fabric 的汇总路由(如 Loopback 地址、VTEP 地址),DCI 传输设备只负责把这些 IP 前缀透传到对端站点。Overlay 的边界则落在 Border Leaf 的 VTEP 上:跨站点的 VXLAN 隧道由 Border Leaf 发起,对端 Border Leaf 终结,中间 DCI 网络对 VXLAN 报文透明,只做 IP 转发。
这种"Underlay 透传、Overlay 终结在 Border Leaf"的边界划分,带来两个重要工程约束:第一,DCI 传输设备不需要支持 VXLAN,只需要支持 IP/MPLS 转发,降低了传输设备选型门槛;第二,Border Leaf 必须能够承载跨站点 VTEP 的隧道数量与路由表规模,因此在选型时要关注 VTEP 表项、EVPN 路由条目和 VXLAN 隧道数的规格。
DCI 互联点的选择原则
互联点选择是 DCI 架构设计中最容易出问题的环节。互联点选错,轻则导致流量绕行、时延增加,重则导致 Overlay 控制平面震荡、双活站点脑裂。以下是几个关键判断依据:
- 互联点应位于 Fabric 的边界设备上,而非核心 Spine 上。Spine 的职责是高速转发,不应承担 DCI 路由策略、ACL 过滤和 Overlay 边界终结。把互联点放在 Border Leaf 上,可以让 Spine 保持"无状态转发"的简洁性,也便于独立升级 DCI 链路带宽。
- 互联点应尽量靠近 DCI 传输设备的接入点。如果 Border Leaf 与 DCI 传输设备之间需要经过多层交换,会引入额外的故障域和时延。理想情况下,Border Leaf 直接通过 100G/400G 端口连接 DWDM 或 OTN 设备。
- 互联点应成对部署,且跨设备冗余。单台 Border Leaf 会成为单点故障。推荐每个站点部署两台 Border Leaf,分别连接两台 DCI 传输设备,形成"双 Border Leaf + 双传输"的冗余结构。EVPN 的 ESI(Ethernet Segment Identifier)多归接入可以保证链路故障时的快速收敛。
- 互联点应支持 Underlay 与 Overlay 的分离。Border Leaf 上需要同时运行 Underlay 路由协议(如 eBGP)和 Overlay 控制平面(如 EVPN)。两者应使用不同的地址族和路由策略,避免 Underlay 路由泄露到 Overlay 的 EVPN 表中。
典型参数与配置示例
以下是一个双站点 DCI 的 Border Leaf 关键配置示例(基于 Nexus 9000,NX-OS 10.x),用于说明 Underlay 与 Overlay 边界如何在设备上落地。示例中站点 A 的 Border Leaf 使用 AS 65001,站点 B 使用 AS 65002,DCI 链路使用 10.0.0.0/30 互联地址。
! Border Leaf A - Underlay eBGP 配置
router bgp 65001
neighbor 10.0.0.2 remote-as 65002
neighbor 10.0.0.2 description DCI-to-SiteB
address-family ipv4 unicast
neighbor 10.0.0.2 activate
network 10.1.0.0/24 ! 发布站点A Loopback 汇总
network 10.1.1.0/24 ! 发布站点A VTEP 地址段
address-family l2vpn evpn
neighbor 10.0.0.2 activate
neighbor 10.0.0.2 send-community extended
! Border Leaf A - Overlay EVPN 配置
interface nve1
no shutdown
source-interface loopback0
host-reachability protocol bgp
member vni 10000
ingress-replication protocol bgp
member vni 20000
ingress-replication protocol bgp
! Border Leaf A - DCI 物理接口
interface Ethernet1/1
description DCI-to-DWDM
mtu 9216
ip address 10.0.0.1/30
no shutdown
配置完成后,可以通过以下命令验证边界状态:show bgp l2vpn evpn summary 确认 EVPN 邻居是否建立;show nve peers 确认跨站点 VTEP 是否可达;show ip route bgp 确认 DCI 侧路由是否正常引入。如果 EVPN 邻居建立但 VTEP 不可达,通常需要检查 Underlay 的 Loopback 路由是否已通过 eBGP 发布到对端。
互联点选择的决策依据
在实际工程中,互联点选择往往需要结合业务需求、传输资源和设备规格综合判断。以下是一个简化的决策参考:
| 场景 | 推荐互联点 | 关键考量 |
|---|---|---|
| 双活数据中心,Overlay 跨站点扩展 | Border Leaf(专用边界设备) | VTEP 表项规模、EVPN 路由条目、ESI 多归 |
| 中小规模 Fabric,DCI 流量较小 | Spine 兼做 DCI 边界 | Spine 端口密度、路由表容量、故障隔离 |
| 主备数据中心,仅需三层互通 | Leaf 或 Border Leaf 三层接口 | Underlay 路由汇总、ACL 策略、时延 |
| 多站点 Fabric,需要统一 Overlay 控制平面 | 专用 DCI Spine + Border Leaf | EVPN 域扩展、BGP 路由反射器部署、收敛时间 |
需要强调的是,互联点选择不是一次性决策。随着站点数量增加和业务规模扩大,原本放在 Spine 上的 DCI 边界可能需要迁移到专用 Border Leaf。因此,在初期规划时就应为 Border Leaf 预留机架空间、端口资源和路由策略模板,避免后期改造时影响生产业务。
总结来说,Nexus DCI 架构的核心是在 Spine-Leaf 的基础上增加一个清晰的边界层:Underlay 负责站点间 IP 可达,Overlay 负责跨站点租户扩展,Border Leaf 作为两者的交汇点,承担 VTEP 终结、EVPN 控制和 DCI 路由交换。互联点选择应遵循"边界设备承载、成对冗余部署、靠近传输接入、Underlay 与 Overlay 分离"四项原则,才能在保证可靠性的同时获得良好的扩展性。