4. 高速接口与光模块规划
在AI/HPC集群中,GPU之间的东西向流量往往占据主导,400G与800G接口已成为新一代叶脊架构的标配。接口与光模块规划的核心,不是简单地把端口“插满”,而是要在端口形态、光模块类型、光纤类型、传输距离与链路预算之间找到一组自洽的组合,使每一段链路都能在目标距离上稳定工作,同时不浪费成本与功耗。
一、400G/800G接口的物理形态与端口拆分
400G与800G在交换机侧通常以QSFP-DD、OSFP或OSFP-RHS等可插拔封装出现。QSFP-DD为8通道电接口,OSFP尺寸略大、散热能力更强,更适合800G及高功耗光模块。二者都支持“端口拆分”(breakout):一个400G端口可拆为4×100G或2×200G,一个800G端口可拆为2×400G或8×100G。拆分能力决定了交换机端口如何与服务器网卡、上行链路匹配。
以一台32×400G叶交换机为例:若下行接服务器,每台服务器配2×200G网卡,则一个400G端口拆为2×200G,可接1台服务器;32个端口可接32台服务器,收敛比取决于上行。若上行采用800G端口,则需在脊交换机侧使用800G模块或通过2×400G捆绑。规划时必须先确定“端口速率—拆分方式—对端设备”三者的对应关系,再决定光模块采购清单。
二、光模块类型与选型逻辑
400G/800G光模块按传输介质与距离大致分为几类:
- DAC/AEC直连铜缆:用于机柜内或相邻机柜,400G DAC通常≤3m,800G DAC≤2m,成本低、功耗低、时延小,适合ToR到服务器。
- 多模短距(SR/VR):400G SR8/VR8使用MPO-16或MPO-12多模光纤,OM4下约100m,OM5下约150m,适合同一排机柜或短距叶脊互联。
- 单模中距(DR/FR):400G DR4为500m,FR4为2km,800G DR8为500m,使用单模光纤,适合跨列、跨机房。
- 单模长距(LR/ER/ZR):400G LR8约10km,ER8约40km,ZR可达80km以上,用于数据中心间互联。
选型时先看距离,再看光纤资源,最后看功耗与成本。多模方案成本低但距离受限;单模方案距离远但模块与光纤成本更高。800G模块功耗普遍高于400G,机柜供电与散热必须提前核算。
三、光纤布线与极性
多模MPO布线必须关注极性。以400G SR8为例,通常使用MPO-16 APC或MPO-12 APC。MPO-12有Method A、B、C三种极性,Method B(键位相反)最常用于并行光模块,确保Tx与Rx一一对应。若极性错误,链路表现为“有光但不通”,需用MPO极性测试仪或通过交换一端模块的Tx/Rx来排查。
单模双工LC布线相对简单,但需注意APC与UPC端面不可混插,否则端面损伤导致回波损耗恶化。高密度场景建议采用结构化布线:主干MPO预端接,配线架到交换机用分支跳线,减少现场熔接。
四、链路预算与距离计算
链路预算的核心公式为:
链路预算(dB) = 发射光功率(dBm) - 接收灵敏度(dBm)
可用预算(dB) = 链路预算 - 裕量
链路损耗(dB) = 光纤衰减(dB/km × 长度) + 连接器损耗 + 熔接损耗 + 弯曲损耗
以400G FR4为例:发射功率约-2.5dBm,接收灵敏度约-6.5dBm,链路预算约4dB。若取3dB裕量,可用预算约1dB。单模光纤衰减1310nm约0.35dB/km,2km衰减0.7dB;两个连接器各0.3dB,共0.6dB;熔接忽略。总损耗约1.3dB,已超过可用预算,因此FR4在2km实际需更优模块或减少连接点。工程上常以“模块标称距离×0.8”作为保守可用距离。
多模400G SR8在OM4下标称100m,实际建议按70~80m规划。若链路中有多个配线架,每个MPO连接器约0.35dB,需逐段累加。下图给出400G/800G典型链路的预算与距离判断关系。
五、规划清单与常见误区
实际规划可按以下顺序推进:先画拓扑,标注每段链路的距离与光纤类型;再按距离初选模块类型;然后逐段计算链路预算,确认裕量≥1dB;最后核对端口拆分与对端网卡速率。常见误区包括:用多模模块跑超距链路、忽略MPO极性、把APC与UPC混接、以及只看模块标称距离而不算连接器损耗。800G场景还需额外关注模块功耗与交换机散热余量,避免端口插满后触发降速。