2. DCI物理链路与端口规划
跨数据中心互联(DCI)的物理层是整个Overlay网络的“地基”。无论上层是VXLAN、EVPN还是Segment Routing,最终都要落到一根根光纤、一个个光模块和一对对端口上。物理链路规划没做好,上层协议再优雅也会被丢包、误码和单点故障拖垮。本节围绕四个核心问题展开:链路怎么连、端口怎么选、光模块怎么配、冗余怎么设计。
一、三种典型物理链路形态
DCI的物理链路通常有三种形态,选择取决于距离、成本和带宽需求。
光纤直连适用于同城或园区间距离较近的场景,一般不超过10~40公里(取决于光模块类型)。两台DCI-PE(或DCI网关)之间直接通过一对光纤连接,中间不经过任何有源设备。优点是时延最低、故障点最少、成本可控;缺点是距离受限,且光纤资源消耗大——每增加一条链路就要占用一对纤芯。
DWDM传输适用于城域或长途场景,距离从几十公里到上千公里。通过波分复用设备,一根光纤可以承载数十甚至上百个波长通道,每个波长可承载10G/100G/400G业务。DCI设备通过短距光模块(如10km的LR)连接到DWDM的Transponder或Muxponder端口,由DWDM系统完成长距传输。优点是纤芯利用率极高、可灵活调度波长;缺点是引入了DWDM设备的时延和故障点,且成本较高。
混合组网在实际工程中最常见:同城两个数据中心之间用光纤直连,异地第三个数据中心通过DWDM接入。规划时需要统一考虑时延差异对上层协议的影响。
二、端口类型与光模块匹配
DCI设备上常见的端口类型包括10GE、25GE、40GE、100GE和400GE。端口类型的选择要与链路带宽需求和光模块封装匹配。这里有一个容易出错的点:端口速率不等于光模块速率。例如,一个100GE端口可以插100G QSFP28光模块,也可以插40G QSFP+光模块(降速使用),但反过来40GE端口无法插100G模块。
光模块的匹配需要同时看三个维度:封装类型、传输距离、光纤类型。
- 封装类型:SFP+(10G)、SFP28(25G)、QSFP+(40G)、QSFP28(100G)、QSFP-DD(400G)。端口封装必须与模块封装一致,否则插不进去。
- 传输距离:SR(短距,100m以内,多模光纤)、LR(10km,单模)、ER(40km,单模)、ZR(80km,单模)。距离超过模块标称值会导致误码甚至链路不通。
- 光纤类型:多模光纤(OM3/OM4)配SR模块,单模光纤(OS2)配LR/ER/ZR模块。多模和单模不能混用,否则光路损耗和模式不匹配会导致链路无法建立。
实际工程中,DCI-PE之间如果距离在10km以内,通常选100G LR4 QSFP28模块配单模光纤;如果距离在100m以内的机房内互联,可选100G SR4 QSFP28配多模光纤。如果通过DWDM传输,DCI-PE侧通常选100G LR4或100G CWDM4模块,连接到DWDM设备的客户侧端口。
三、链路预算与光功率核算
链路预算是DCI物理层规划中最容易被忽视、但出问题后最难排查的环节。核心公式是:
接收光功率 = 发送光功率 - 链路总损耗
链路总损耗 = 光纤衰减 + 连接器损耗 + 熔接点损耗 + 光分插复用损耗(如有)
判断条件:接收光功率 ≥ 接收灵敏度 + 余量(通常3dB)
以一个教学示例说明:假设DCI-PE-A到DCI-PE-B距离20km,使用100G LR4模块,发送光功率范围-4.5~+4.5dBm,接收灵敏度-10.6dBm。单模光纤在1310nm窗口的衰减约0.35dB/km,20km光纤衰减为7dB。链路中有4个连接器(每个0.5dB)和2个熔接点(每个0.1dB),总损耗为7 + 2 + 0.2 = 9.2dB。取发送光功率最差值-4.5dBm,接收光功率为-4.5 - 9.2 = -13.7dBm,低于接收灵敏度-10.6dBm,链路不可用。此时需要更换更高功率的模块(如ER4)或增加光放大器。
注意:以上为教学示例参数,实际工程中必须以现场OTDR测试和光功率计实测为准。不同厂商、不同批次的光模块参数存在差异,链路预算应保留至少3dB余量以应对老化、灰尘和温度变化。
四、冗余设计
DCI链路的冗余设计需要从物理层和逻辑层两个维度考虑。
物理层冗余包括:设备冗余(两台DCI-PE互为备份)、端口冗余(同一设备上不同板卡的不同端口)、链路冗余(不同物理路由的光纤或不同波长的DWDM通道)。关键原则是:冗余路径不能共享同一物理管道。如果两条光纤走同一根管道,施工挖断管道时两条链路同时中断,冗余形同虚设。
逻辑层冗余通常通过链路聚合(Eth-Trunk)或动态路由协议实现。DCI-PE之间可以配置跨设备的Eth-Trunk(M-LAG),将两条物理链路捆绑为一条逻辑链路,单条物理链路故障时流量自动切换到另一条。对于通过DWDM连接的场景,可以在DWDM层面配置波长保护,主用波长故障时自动切换到备用波长。
一个实用的冗余设计检查清单如下:
| 检查项 | 要求 | 常见问题 |
|---|---|---|
| 物理路由 | 主备链路走不同管道/不同方向 | 同管道同沟敷设 |
| 端口分布 | 主备端口在不同板卡 | 同板卡端口故障全断 |
| 光模块 | 主备模块同型号同批次 | 混用不同批次导致光功率差异 |
| DWDM波长 | 主备波长间隔足够 | 相邻波长串扰 |
| 链路预算 | 主备均满足灵敏度+3dB余量 | 备用链路未做预算核算 |
最后需要强调的是,DCI物理链路规划不是一次性的工作。光纤老化、连接器污染、DWDM波长漂移都会随时间改变链路预算。建议在链路开通时记录基线光功率,并定期(如每季度)复测,当接收光功率下降超过2dB时触发排查。只有把物理层的“地基”打牢,上层的EVPN、VXLAN和SR才能稳定运行。