3. DCI物理连接规划

DCI(Data Center Interconnect)互联工程的第一步不是配置BGP或VXLAN,而是把“两个数据中心之间到底用什么物理介质、跑多少波长、两端插什么端口、能拉多远”这件事算清楚。物理连接规划一旦定错,上层协议再优雅也无法弥补:端口速率不匹配会导致链路无法UP,光预算不足会导致链路频繁闪断,波长规划冲突会导致业务时通时断。本节围绕光纤链路、DWDM、暗光纤、端口容量与距离约束五个要素,说明如何为Nexus设备做出可落地的选型决策。

一、先分清三种物理承载方式

DCI的物理承载通常分为三类。第一类是裸光纤直连:两端Nexus设备通过一对单模光纤直接连接,中间不经过任何有源设备。它最简单、时延最低,但一对光纤只能承载一路信号,距离受光模块预算限制,通常适用于同一园区或相距几公里的数据中心。第二类是暗光纤(Dark Fiber):运营商或第三方提供已铺设但不带传输设备的光纤,用户自行在两端部署DWDM设备。暗光纤的价值在于“一根光纤可承载多路波长”,容量扩展只需增加波长而非重新铺设。第三类是DWDM租用波长:运营商提供端到端的波长服务,用户只看到两端的光口,中间传输设备由运营商维护,适合跨城市、跨运营商的长距离场景。

选择哪种方式,取决于距离、容量需求、成本模型和运维边界。裸光纤适合短距、低时延、容量需求明确的场景;暗光纤适合中长距、容量需要持续增长且自身具备光传输运维能力的场景;DWDM租用波长适合长距、希望把光层运维外包的场景。

二、DWDM与暗光纤的配合关系

DWDM(Dense Wavelength Division Multiplexing)的核心思想是在一根光纤中同时传输多个不同波长的光信号。以C波段为例,50GHz通道间隔可提供约96个波长通道,若每通道承载400G,单纤容量可达数十Tbps。在暗光纤场景中,两端各部署一台DWDM复用/解复用设备(如Cisco NCS 2000系列或ONS 15454),Nexus交换机通过短距光模块连接到DWDM的客户侧端口,DWDM再把信号调制到指定波长上,经合波器送入暗光纤。

这里有一个关键分工:Nexus负责以太网层,DWDM负责光层。Nexus的端口速率、FEC模式、光模块类型必须与DWDM客户侧端口匹配;DWDM的波长、功率、色散补偿、放大方案则决定链路能否在目标距离上稳定工作。规划时必须把这两层放在一起算,不能只选交换机不看光层。

DCI物理连接规划:从Nexus端口到DWDM波长再到暗光纤 数据中心 A Nexus 9364C / 9332C DCI Leaf / Spine 端口 DWDM 复用终端 Cisco NCS 2000 / ONS 客户侧光口 400G-ZR / 100G-LR4 合波器 → 暗光纤 数据中心 B Nexus 9364C / 9332C DCI Leaf / Spine 端口 DWDM 复用终端 Cisco NCS 2000 / ONS 客户侧光口 400G-ZR / 100G-LR4 解波器 ← 暗光纤 暗光纤 / DWDM 波长通道 单模光纤 · C波段 · 50GHz间隔 · 多波长复用 距离与光预算约束 短距(<10km):400G-ZR 直连或 DWDM 客户侧 中距(10–40km):100G-LR4 / 400G-ZR + DWDM 长距(>40km):DWDM + 光放大 + 色散补偿 关键参数:发射功率、接收灵敏度、OSNR、色散 端口容量匹配 Nexus 端口速率 = DWDM 客户侧速率 400G QSFP-DD ↔ 400G 客户侧 100G QSFP28 ↔ 100G 客户侧

三、端口容量与Nexus设备选型

Nexus侧选型首先要回答“需要多少DCI带宽”。假设两个数据中心之间需要承载VXLAN EVPN的南北向流量和部分东西向备份流量,峰值需求为3.2Tbps,且要求具备1+1链路冗余。那么单侧至少需要8个400G端口(8×400G=3.2T),考虑冗余则需16个400G端口。此时可选的Nexus平台包括:Nexus 9364C(64个400G端口)、Nexus 9332C(32个400G端口)、Nexus 93180YC-FX(48个100G/25G端口,需通过 breakout 或升级到400G平台)。若DCI流量以100G为主,Nexus 93180YC-FX 或 9336C-FX2 也可胜任,但需注意其上行端口类型和数量。

端口选型还要看光模块类型。400G-ZR 支持在DWDM客户侧直接传输,省去独立DWDM终端,适合点对点短中距;400G-FR4/LR4 则需要配合DWDM客户侧端口。100G-LR4 适合10km以内,100G-ER4 适合40km以内。若距离超过40km,通常需要DWDM加光放大,此时Nexus端口只需提供标准客户侧接口,长距传输由DWDM完成。

四、距离约束下的光预算计算

光预算是DCI物理规划中最容易出错的部分。基本公式为:接收功率 = 发射功率 − 光纤衰减 − 连接器损耗 − 熔接损耗 − 光器件插入损耗。以单模光纤在1310nm窗口为例,衰减约0.35dB/km;在1550nm窗口约0.22dB/km。假设距离80km,使用1550nm窗口,光纤衰减为80×0.22=17.6dB;两端连接器各0.5dB,共1dB;熔接点每2km一个,共40个,每个0.1dB,共4dB;DWDM合波/解波插入损耗约3dB。总损耗约25.6dB。若光模块发射功率为+3dBm,接收灵敏度为−20dBm,则接收功率为3−25.6=−22.6dBm,低于灵敏度,链路无法工作。此时需要加入光放大器(如EDFA)提升功率,或改用相干光模块(如400G-ZR)提高接收灵敏度。

实际规划中,建议保留3dB以上的余量,以应对光纤老化、连接器污染和温度变化。对于超过80km的链路,还需考虑色散补偿和OSNR预算,通常需要借助厂商的光层规划工具进行仿真。

五、规划检查清单

在完成物理连接规划后,建议逐项核对以下内容:

  • 两端Nexus端口速率、光模块类型与DWDM客户侧是否匹配;
  • 光纤距离、衰减、连接器/熔接损耗是否在光预算内;
  • DWDM波长规划是否与现有波长冲突,通道间隔是否一致;
  • 是否需要光放大、色散补偿或相干模块;
  • 冗余链路是否走不同物理路由,避免同沟同缆;
  • 端口容量是否满足当前及未来12–18个月增长需求。
在暗光纤场景中,建议在两端DWDM设备上启用光功率监测和告警阈值,便于在链路劣化初期发现光预算不足的问题。对于400G-ZR等相干模块,可通过Nexus的DOM(Digital Optical Monitoring)读取实时OSNR和误码率,作为链路健康判断依据。

物理连接规划完成后,才进入IP层和Overlay层的设计。下一阶段将基于已确定的端口和链路,规划BGP EVPN对等体、VXLAN隧道和路由策略。