2. DCI物理链路与端口规划

跨数据中心互联(DCI)的物理层是整个Overlay网络的“地基”。无论上层是VXLAN、EVPN还是Segment Routing,最终都要落到一根根光纤、一个个光模块和一对对端口上。物理链路规划没做好,上层协议再优雅也会被丢包、误码和单点故障拖垮。本节围绕四个核心问题展开:链路怎么连、端口怎么选、光模块怎么配、冗余怎么设计。

一、三种典型物理链路形态

DCI的物理链路通常有三种形态,选择取决于距离、成本和带宽需求。

光纤直连适用于同城或园区间距离较近的场景,一般不超过10~40公里(取决于光模块类型)。两台DCI-PE(或DCI网关)之间直接通过一对光纤连接,中间不经过任何有源设备。优点是时延最低、故障点最少、成本可控;缺点是距离受限,且光纤资源消耗大——每增加一条链路就要占用一对纤芯。

DWDM传输适用于城域或长途场景,距离从几十公里到上千公里。通过波分复用设备,一根光纤可以承载数十甚至上百个波长通道,每个波长可承载10G/100G/400G业务。DCI设备通过短距光模块(如10km的LR)连接到DWDM的Transponder或Muxponder端口,由DWDM系统完成长距传输。优点是纤芯利用率极高、可灵活调度波长;缺点是引入了DWDM设备的时延和故障点,且成本较高。

混合组网在实际工程中最常见:同城两个数据中心之间用光纤直连,异地第三个数据中心通过DWDM接入。规划时需要统一考虑时延差异对上层协议的影响。

DCI物理链路三种形态对比 光纤直连 DCI-PE-A DCI-PE-B 单对纤芯 距离≤40km · 时延最低 纤芯消耗大 · 故障点少 DWDM传输 DCI-PE-A DCI-PE-B DWDM Transponder 距离可达数百km · 波长复用 纤芯利用率高 · 引入设备时延 混合组网 DC-A DC-C DC-B 同城直连+异地DWDM 需统一时延策略 链路形态关键参数对照 对比项 光纤直连 DWDM 混合组网 典型距离 ≤40km 80~1000km 组合 单链路时延 ~0.2ms ~1~5ms 差异大 纤芯占用 每链路1对 多波长共享 按段不同

二、端口类型与光模块匹配

DCI设备上常见的端口类型包括10GE、25GE、40GE、100GE和400GE。端口类型的选择要与链路带宽需求和光模块封装匹配。这里有一个容易出错的点:端口速率不等于光模块速率。例如,一个100GE端口可以插100G QSFP28光模块,也可以插40G QSFP+光模块(降速使用),但反过来40GE端口无法插100G模块。

光模块的匹配需要同时看三个维度:封装类型、传输距离、光纤类型。

  • 封装类型:SFP+(10G)、SFP28(25G)、QSFP+(40G)、QSFP28(100G)、QSFP-DD(400G)。端口封装必须与模块封装一致,否则插不进去。
  • 传输距离:SR(短距,100m以内,多模光纤)、LR(10km,单模)、ER(40km,单模)、ZR(80km,单模)。距离超过模块标称值会导致误码甚至链路不通。
  • 光纤类型:多模光纤(OM3/OM4)配SR模块,单模光纤(OS2)配LR/ER/ZR模块。多模和单模不能混用,否则光路损耗和模式不匹配会导致链路无法建立。

实际工程中,DCI-PE之间如果距离在10km以内,通常选100G LR4 QSFP28模块配单模光纤;如果距离在100m以内的机房内互联,可选100G SR4 QSFP28配多模光纤。如果通过DWDM传输,DCI-PE侧通常选100G LR4或100G CWDM4模块,连接到DWDM设备的客户侧端口。

三、链路预算与光功率核算

链路预算是DCI物理层规划中最容易被忽视、但出问题后最难排查的环节。核心公式是:

接收光功率 = 发送光功率 - 链路总损耗
链路总损耗 = 光纤衰减 + 连接器损耗 + 熔接点损耗 + 光分插复用损耗(如有)
判断条件:接收光功率 ≥ 接收灵敏度 + 余量(通常3dB)

以一个教学示例说明:假设DCI-PE-A到DCI-PE-B距离20km,使用100G LR4模块,发送光功率范围-4.5~+4.5dBm,接收灵敏度-10.6dBm。单模光纤在1310nm窗口的衰减约0.35dB/km,20km光纤衰减为7dB。链路中有4个连接器(每个0.5dB)和2个熔接点(每个0.1dB),总损耗为7 + 2 + 0.2 = 9.2dB。取发送光功率最差值-4.5dBm,接收光功率为-4.5 - 9.2 = -13.7dBm,低于接收灵敏度-10.6dBm,链路不可用。此时需要更换更高功率的模块(如ER4)或增加光放大器。

注意:以上为教学示例参数,实际工程中必须以现场OTDR测试和光功率计实测为准。不同厂商、不同批次的光模块参数存在差异,链路预算应保留至少3dB余量以应对老化、灰尘和温度变化。

四、冗余设计

DCI链路的冗余设计需要从物理层和逻辑层两个维度考虑。

物理层冗余包括:设备冗余(两台DCI-PE互为备份)、端口冗余(同一设备上不同板卡的不同端口)、链路冗余(不同物理路由的光纤或不同波长的DWDM通道)。关键原则是:冗余路径不能共享同一物理管道。如果两条光纤走同一根管道,施工挖断管道时两条链路同时中断,冗余形同虚设。

逻辑层冗余通常通过链路聚合(Eth-Trunk)或动态路由协议实现。DCI-PE之间可以配置跨设备的Eth-Trunk(M-LAG),将两条物理链路捆绑为一条逻辑链路,单条物理链路故障时流量自动切换到另一条。对于通过DWDM连接的场景,可以在DWDM层面配置波长保护,主用波长故障时自动切换到备用波长。

一个实用的冗余设计检查清单如下:

检查项要求常见问题
物理路由主备链路走不同管道/不同方向同管道同沟敷设
端口分布主备端口在不同板卡同板卡端口故障全断
光模块主备模块同型号同批次混用不同批次导致光功率差异
DWDM波长主备波长间隔足够相邻波长串扰
链路预算主备均满足灵敏度+3dB余量备用链路未做预算核算

最后需要强调的是,DCI物理链路规划不是一次性的工作。光纤老化、连接器污染、DWDM波长漂移都会随时间改变链路预算。建议在链路开通时记录基线光功率,并定期(如每季度)复测,当接收光功率下降超过2dB时触发排查。只有把物理层的“地基”打牢,上层的EVPN、VXLAN和SR才能稳定运行。