4. DCI链路层与以太网演进
DCI(数据中心互联)链路层承载的是跨园区、跨城域甚至跨区域的数据中心之间的高带宽流量。与数据中心内部东西向流量不同,DCI链路通常要跨越数十到数百公里,经过波分复用(DWDM)系统、光放大器和多段光纤,链路预算紧张、误码来源复杂。因此,DCI链路层的以太网接口标准、前向纠错(FEC)机制和链路聚合方式,直接决定了互联链路的可用带宽、传输距离和故障收敛能力。
一、以太网速率演进与接口标准
从10GE到400GE/800GE,以太网速率大致经历了10G→25G→40G→100G→200G→400G→800G的演进路径。每一代速率的提升,背后都是SerDes(串行/解串器)通道速率和通道数量的组合变化。例如100GE早期采用10×10G通道,后来演进为4×25G;400GE主流采用8×50G PAM4通道,也有4×100G方案;800GE则普遍采用8×100G PAM4通道。
在DCI场景中,接口标准的选择需要同时考虑三个因素:一是与DWDM系统的匹配,DCI通常通过400G ZR/ZR+等相干光模块直接接入DWDM,接口速率与光模块速率必须一致;二是与路由器/交换机端口的匹配,避免出现速率不匹配导致的降速或链路不可用;三是传输距离,不同FEC模式和光模块类型支持的传输距离差异很大。
| 速率 | 典型通道结构 | 调制方式 | DCI典型光模块 | 典型传输距离 |
|---|---|---|---|---|
| 10GE | 1×10G NRZ | NRZ | 10G LR/ER | 10km~40km |
| 100GE | 4×25G NRZ | NRZ | 100G LR4/ER4、100G ZR | 10km~80km |
| 400GE | 8×50G PAM4 | PAM4 | 400G ZR/ZR+ | 80km~120km(ZR+) |
| 800GE | 8×100G PAM4 | PAM4 | 800G ZR/ZR+(演进中) | 依相干模块而定 |
需要特别注意的是,PAM4调制在相同符号率下比NRZ承载更多比特,但也带来更低的信噪比容限。因此400GE/800GE对FEC的依赖远高于10GE/100GE。
二、FEC机制:从RS(528,514)到RS(544,514)与OFEC
FEC通过在发送端插入冗余校验比特,在接收端纠正传输过程中产生的误码。以太网中常见的FEC类型包括:
- RS(528,514):用于100GE CR4/KR4等电接口,可纠正少量符号错误。
- RS(544,514):即KP4 FEC,用于100GE/400GE光接口,纠错能力更强,是400GE ZR/ZR+的基础。
- OFEC:Open FEC,用于400G ZR及更长相干传输,配合相干DSP实现更远距离传输。
在DCI链路中,FEC的配置必须两端一致。如果一端配置RS(544,514),另一端配置OFEC,链路将无法建立。此外,FEC会引入额外的时延,400GE ZR的FEC时延通常在100μs量级,对时延敏感的DCI业务需要评估这一影响。
三、链路聚合在DCI中的应用
链路聚合(Link Aggregation,LACP)将多条物理链路捆绑为一条逻辑链路,在DCI中主要用于两个目的:一是提升带宽,例如将2条400GE聚合为800GE逻辑链路;二是提供链路冗余,当其中一条物理链路故障时,流量自动切换到剩余链路。
DCI链路聚合的配置要点包括:
- 两端聚合组的成员端口速率、FEC模式、MTU必须一致。
- LACP模式建议使用active,避免一端active一端passive导致协商异常。
- 聚合组的哈希算法应根据DCI流量特征选择,跨城DCI流量通常以五元组哈希为主,避免单一流被固定到一条链路。
- 聚合组内成员链路应分布在不同的DWDM波道或不同的光纤路由上,避免共路由故障导致整组失效。
interface Eth-Trunk 10
mode lacp-static
load-balance src-dst-ip
!
interface 400GE1/0/1
eth-trunk 10
!
interface 400GE1/0/2
eth-trunk 10
!
lacp priority 100
上述配置示例中,Eth-Trunk 10将两条400GE物理口聚合为800GE逻辑链路,采用源目的IP哈希,LACP优先级设为100。实际部署时,还需在两端设备上确认LACP状态为“Up”,并检查聚合组内各成员口的流量分布是否均衡。
四、DCI链路开通与验证要点
一条400GE DCI链路的开通,通常需要经过以下关键检查点:
- 光层检查:确认收发光功率在模块规格范围内,400G ZR+的接收光功率通常要求在-20dBm~0dBm之间。
- FEC状态检查:通过
display interface 400GE1/0/1查看FEC模式是否与对端一致,pre-FEC BER是否低于门限。 - LACP协商检查:确认聚合组状态为Up,成员口数量与预期一致。
- 流量均衡检查:使用
display eth-trunk 10查看各成员口流量,若严重不均需调整哈希算法。 - 倒换测试:手动shutdown一条成员链路,观察流量是否在秒级内切换到剩余链路,业务是否出现丢包。
总体而言,DCI链路层的核心是在速率、距离、FEC和冗余之间取得平衡。400GE/800GE时代,PAM4和强FEC成为标配,链路聚合则从单纯的带宽叠加演变为带宽与可靠性并重的设计手段。理解接口标准、FEC模式和聚合机制之间的配合关系,是DCI网络规划与运维的基础。