3. 灾备验证实验室环境搭建

灾备验证实验室的价值不在于“能跑起来”,而在于“每次都能跑出同样的结果”。如果拓扑、镜像版本、接口编号、路由参数每次搭建都不同,那么验证结论就无法复现,也无法作为变更依据。本节围绕 Cisco Nexus 9000v、7000 和 5000 系列,说明如何构建一个物理与虚拟混合、可重复部署的灾备测试环境。

一、设备选型与角色划分

Nexus 9000v 是虚拟化平台,适合承担 Overlay 控制面、vPC 对等体、VRF 边界和跨站点 VXLAN 隧道端点等角色,优势是快照回滚和批量克隆。Nexus 7000 系列作为物理核心,提供高密度线卡和真实硬件转发路径,适合模拟数据中心核心与灾备汇聚。Nexus 5000 系列则用于接入层,承载服务器双归接入和 vPC 域,验证接入侧链路故障时的收敛行为。

一个典型的角色分配如下:两台 9000v 作为主站点与灾备站点的 Leaf/Border,两台 7000 作为两个站点的 Spine/Core,两台 5000 作为服务器接入。虚拟设备负责控制面与隧道封装,物理设备负责真实转发与链路状态,两者通过 10G/40G 互联形成混合组网。

二、可复现拓扑的构建原则

可复现的核心是“参数化”和“版本锁定”。建议在搭建前固定以下要素:镜像版本(例如 9000v 使用 9.3(10) 或 10.2(5),7000 使用 8.4(2),5000 使用 7.3(8)N1(1));接口命名规则(如 Eth1/1 固定为上行,Eth1/2 固定为下行);管理网段(如 192.168.100.0/24,每台设备管理地址按角色末位编号);以及 vPC domain、VRF 名称、VXLAN VNI 的编号规则。

建议使用配置模板加变量替换的方式生成每台设备的初始配置。例如用一份基础模板定义 NTP、AAA、SNMP、logging 和 feature 开关,再用角色变量注入 vPC domain、peer-link、VNI 映射等差异部分。这样任何一次重建都能得到完全一致的基线。

三、混合组网的关键连接

物理与虚拟混合组网最容易出问题的地方是链路类型和 MTU。9000v 的虚拟接口通常以 veth 或 tap 方式映射到宿主机网桥,再连接到物理 7000 的端口。此时必须确认:虚拟侧 MTU 与物理侧一致(建议 9216),否则 VXLAN 封装后的大包会被丢弃;物理端口需配置为 trunk 并允许所需 VLAN;宿主机网桥不能做额外的 VLAN 剥离。

下面这张图给出一个可复现的混合拓扑参考,包含两个站点、四类设备、vPC 域和跨站点 VXLAN 隧道。图中标注了接口编号、管理地址段和 VNI 规划,便于按图搭建。

Nexus 9000v / 7000 / 5000 混合灾备验证拓扑 主站点 Site-A 灾备站点 Site-B Nexus 7000 (Spine-A) 10.100.1.1 / Eth1/1-4 Nexus 9000v (Leaf-A1) 10.100.1.11 / VNI 10100 Nexus 9000v (Leaf-A2) 10.100.1.12 / VNI 10100 vPC peer-link Nexus 5000 (Access-A) 10.100.1.21 / vPC 10 Server-A1 Server-A2 Nexus 7000 (Spine-B) 10.100.2.1 / Eth1/1-4 Nexus 9000v (Leaf-B1) 10.100.2.11 / VNI 10200 Nexus 9000v (Leaf-B2) 10.100.2.12 / VNI 10200 vPC peer-link Nexus 5000 (Access-B) 10.100.2.21 / vPC 20 Server-B1 Server-B2 跨站点 VXLAN 隧道 (VNI 10100 ↔ 10200) 物理链路 vPC peer-link VXLAN 隧道 9000v 7000 5000

四、基线配置与验证要点

搭建完成后,先不要急着做故障注入。第一步是确认基线健康:所有 vPC 成员状态为 up,peer-link 正常,VXLAN 隧道建立,NVE 接口能学到对端 VTEP 地址。可以用以下命令快速检查:

show vpc brief
show nve peers
show interface nve1
show ip route vrf DR-TEST
show vxlan interface

第二步是记录“健康基线快照”,包括各接口计数器、路由表条目数、MAC 地址表条目数、vPC 角色和 NVE 对等体状态。这些数据是后续判断故障是否真正恢复的参照。建议把快照保存为文本文件,与拓扑图、配置模板一起纳入版本管理。

五、可复现性检查清单

在每次重建环境后,按以下清单逐项确认,任何一项不一致都可能导致验证结果漂移:

  • 镜像版本与基线记录一致,未混用不同补丁级别。
  • 管理地址、vPC domain、VNI、VRF 名称与规划表一致。
  • 所有互联接口 MTU 为 9216,且物理与虚拟侧一致。
  • NTP 已同步,日志时间戳可用于故障时序分析。
  • vPC peer-link 与 keepalive 链路分别使用独立物理路径。
  • 跨站点隧道两端 VTEP 地址可达,且未被 ACL 或防火墙拦截。
  • 服务器侧双归网卡绑定模式与 vPC 配置匹配。
建议为每台设备保留一份“出厂基线”快照。9000v 可直接克隆虚拟机磁盘,7000/5000 可通过配置回滚或 USB 备份恢复。这样在故障注入导致配置混乱时,能在十分钟内回到已知状态,而不是逐条排查。

六、常见搭建问题与处理

混合组网中最常见的三个问题是:虚拟接口未 up、VXLAN 隧道无法建立、vPC 双活检测失败。虚拟接口未 up 通常是因为宿主机网桥未放行对应 VLAN 或 veth 对未正确配对;VXLAN 隧道无法建立多因 VTEP 地址不可达或 NVE 接口未绑定正确源地址;vPC 双活检测失败则要检查 peer-link 是否被 STP 阻塞、keepalive 链路是否可达、domain ID 是否冲突。

处理时遵循“先物理后逻辑、先二层后三层、先本地后跨站”的顺序,可以避免在复杂拓扑中迷失方向。每次只改变一个变量,并记录变更前后的状态差异,这样才能让实验室真正成为可复现的验证平台,而不是一次性的演示环境。