4. 高速接口与光模块规划

在AI/HPC集群中,GPU之间的东西向流量往往占据主导,400G与800G接口已成为新一代叶脊架构的标配。接口与光模块规划的核心,不是简单地把端口“插满”,而是要在端口形态、光模块类型、光纤类型、传输距离与链路预算之间找到一组自洽的组合,使每一段链路都能在目标距离上稳定工作,同时不浪费成本与功耗。

一、400G/800G接口的物理形态与端口拆分

400G与800G在交换机侧通常以QSFP-DD、OSFP或OSFP-RHS等可插拔封装出现。QSFP-DD为8通道电接口,OSFP尺寸略大、散热能力更强,更适合800G及高功耗光模块。二者都支持“端口拆分”(breakout):一个400G端口可拆为4×100G或2×200G,一个800G端口可拆为2×400G或8×100G。拆分能力决定了交换机端口如何与服务器网卡、上行链路匹配。

以一台32×400G叶交换机为例:若下行接服务器,每台服务器配2×200G网卡,则一个400G端口拆为2×200G,可接1台服务器;32个端口可接32台服务器,收敛比取决于上行。若上行采用800G端口,则需在脊交换机侧使用800G模块或通过2×400G捆绑。规划时必须先确定“端口速率—拆分方式—对端设备”三者的对应关系,再决定光模块采购清单。

二、光模块类型与选型逻辑

400G/800G光模块按传输介质与距离大致分为几类:

  • DAC/AEC直连铜缆:用于机柜内或相邻机柜,400G DAC通常≤3m,800G DAC≤2m,成本低、功耗低、时延小,适合ToR到服务器。
  • 多模短距(SR/VR):400G SR8/VR8使用MPO-16或MPO-12多模光纤,OM4下约100m,OM5下约150m,适合同一排机柜或短距叶脊互联。
  • 单模中距(DR/FR):400G DR4为500m,FR4为2km,800G DR8为500m,使用单模光纤,适合跨列、跨机房。
  • 单模长距(LR/ER/ZR):400G LR8约10km,ER8约40km,ZR可达80km以上,用于数据中心间互联。

选型时先看距离,再看光纤资源,最后看功耗与成本。多模方案成本低但距离受限;单模方案距离远但模块与光纤成本更高。800G模块功耗普遍高于400G,机柜供电与散热必须提前核算。

三、光纤布线与极性

多模MPO布线必须关注极性。以400G SR8为例,通常使用MPO-16 APC或MPO-12 APC。MPO-12有Method A、B、C三种极性,Method B(键位相反)最常用于并行光模块,确保Tx与Rx一一对应。若极性错误,链路表现为“有光但不通”,需用MPO极性测试仪或通过交换一端模块的Tx/Rx来排查。

单模双工LC布线相对简单,但需注意APC与UPC端面不可混插,否则端面损伤导致回波损耗恶化。高密度场景建议采用结构化布线:主干MPO预端接,配线架到交换机用分支跳线,减少现场熔接。

四、链路预算与距离计算

链路预算的核心公式为:

链路预算(dB) = 发射光功率(dBm) - 接收灵敏度(dBm)
可用预算(dB) = 链路预算 - 裕量
链路损耗(dB) = 光纤衰减(dB/km × 长度) + 连接器损耗 + 熔接损耗 + 弯曲损耗

以400G FR4为例:发射功率约-2.5dBm,接收灵敏度约-6.5dBm,链路预算约4dB。若取3dB裕量,可用预算约1dB。单模光纤衰减1310nm约0.35dB/km,2km衰减0.7dB;两个连接器各0.3dB,共0.6dB;熔接忽略。总损耗约1.3dB,已超过可用预算,因此FR4在2km实际需更优模块或减少连接点。工程上常以“模块标称距离×0.8”作为保守可用距离。

多模400G SR8在OM4下标称100m,实际建议按70~80m规划。若链路中有多个配线架,每个MPO连接器约0.35dB,需逐段累加。下图给出400G/800G典型链路的预算与距离判断关系。

400G/800G链路预算与距离判断 链路组成(以400G FR4为例) 交换机端口 400G Tx: -2.5 dBm 光模块 FR4 1310nm 单模 光纤链路 2km 单模 0.35dB/km 2×LC连接器 0.3dB/个 接收端 400G Rx灵敏度: -6.5 dBm 链路预算 = -2.5 - (-6.5) = 4.0 dB 预算分配与距离判断 链路预算 4.0 dB 可用预算 3.0 dB 裕量 1.0 dB 2km FR4 损耗明细 光纤衰减 0.35 dB/km × 2 km 0.70 dB 连接器 2 × 0.30 dB 0.60 dB 熔接/弯曲 估算 0.10 dB 总损耗 0.70 + 0.60 + 0.10 1.40 dB 总损耗 1.40 dB > 可用预算 3.0 dB? 否,余量 1.6 dB,2km 可工作但裕量偏紧 工程建议:按标称距离 × 0.8 规划 FR4 2km → 实际按 1.6km 以内使用

五、规划清单与常见误区

实际规划可按以下顺序推进:先画拓扑,标注每段链路的距离与光纤类型;再按距离初选模块类型;然后逐段计算链路预算,确认裕量≥1dB;最后核对端口拆分与对端网卡速率。常见误区包括:用多模模块跑超距链路、忽略MPO极性、把APC与UPC混接、以及只看模块标称距离而不算连接器损耗。800G场景还需额外关注模块功耗与交换机散热余量,避免端口插满后触发降速。

建议在采购前用光时域反射仪(OTDR)抽测主干光纤,确认实际衰减与事件点,避免理论预算与实际链路偏差过大。