3. 高带宽网络平台硬件基础

在 800G/1.6T 数据中心交换平台上,信号完整性(Signal Integrity, SI)不是某一个器件单独决定的指标,而是由交换芯片、SerDes、光模块、PCB 走线、电源与散热六个环节共同构成的“链路预算”问题。任何一环的裕量被吃掉,最终都会表现为误码率(BER)上升、链路降速甚至链路无法建立。理解这条链路的物理构成与约束传递关系,是硬件设计与调试的基础。

一、链路构成与信号流向

以一台 51.2T 交换芯片、32 个 800G 端口的平台为例,一个端口的完整信号路径是:交换芯片内部 SerDes 发送端 → 封装基板 → BGA 焊球 → PCB 差分走线(含过孔、连接器)→ 前面板光模块金手指 → 光模块内部 DSP/CDR → 光引擎 → 光纤。接收方向完全对称。整条链路中,芯片侧是 C2M(Chip-to-Module)接口,模块侧是 M2C 接口,二者共同受 IEEE 802.3ck、OIF-CEI-112G 等标准约束。

800G 端口信号链路与主要损耗/约束分布 交换芯片 SerDes TX/RX 112G PAM4 FFE/DFE 均衡 封装基板 PCB 差分走线 过孔 / 连接器 插入损耗 ~1.5dB/inch 阻抗 85Ω±10% 串扰 / 回波损耗 光模块 DSP / CDR 光引擎 EML/DML 金手指连接 功耗 15~18W 光纤链路 单模/多模 色散 / 衰减 FEC 纠错 电源完整性 PDN 纹波 < 20mV 去耦电容 / 平面阻抗 散热与温度 结温 < 105℃ 风冷/液冷 影响抖动/眼高 影响偏置/波长 链路总损耗预算 = 芯片封装 + PCB + 连接器 + 模块金手指 + 光纤,典型 C2M 通道预算 ≤ 28dB @ 12.9GHz 任一环节超预算 → 眼图闭合 → BER 恶化 → 链路降速或 FEC 无法纠正

二、交换芯片与 SerDes:链路的起点

交换芯片的 SerDes 是整条链路的信号源和判决点。以 112G PAM4 SerDes 为例,发送端通过 FFE(前馈均衡)预加重补偿通道高频损耗,接收端通过 CTLE + DFE 打开眼图。设计约束主要有三点:

  • 发送幅度与均衡能力:典型差分输出 800mVppd,FFE 可提供 3~6dB 预加重。若通道损耗超过 SerDes 均衡能力,即使模块正常也无法建链。
  • 抖动预算:112G PAM4 的 UI 仅 8.9ps,总抖动(TJ)通常要求 < 0.3UI。参考时钟相位噪声、电源纹波耦合都会直接吃掉抖动裕量。
  • 封装与 BGA 出线:封装基板走线损耗约 0.3~0.5dB,BGA 焊球与过孔引入阻抗不连续,需在封装设计阶段与 PCB 协同优化。

三、PCB 走线:最容易被低估的环节

PCB 是链路中物理长度最长、损耗占比最大的部分。以 Megtron 6 板材、12.9GHz 为例,插入损耗约 1.2~1.5dB/inch。若芯片到面板走线 8 英寸,仅走线损耗就达 10~12dB。关键设计约束包括:

参数典型要求影响
差分阻抗85Ω ± 10%阻抗失配 → 回波损耗恶化
走线长度匹配对内 < 5mil偏斜 → 共模噪声 → EMI
过孔残桩< 15mil 或背钻残桩谐振 → 高频损耗尖峰
串扰NEXT < -30dB邻近通道噪声 → 眼高下降

实际设计中,8 英寸走线通常需要 2~3 个过孔换层。每个过孔引入约 0.3~0.5dB 损耗和阻抗不连续,因此优先选择同层走线或减少换层次数。背钻(back-drill)是控制过孔残桩的常用手段,可将残桩从 60mil 降至 10mil 以内。

四、光模块:电光转换的边界

光模块内部包含 DSP、CDR、驱动器和光引擎。对系统设计而言,模块的关键约束是:

  • 电口输入灵敏度:模块 DSP 对输入信号的眼高、抖动有最低要求,通常要求 C2M 接口 BER < 1E-6(经 FEC 后 < 1E-15)。
  • 功耗与散热:800G 模块功耗 15~18W,若散热不足导致结温超过 105℃,激光器波长漂移、DSP 误码率上升。
  • 金手指连接:模块与 PCB 连接器的阻抗匹配、插损直接影响 C2M 通道预算。

五、电源与散热:隐性的信号完整性因素

电源完整性(PDN)与信号完整性高度耦合。SerDes 的电源纹波会直接调制到输出信号上,形成周期性抖动。典型约束:

  • SerDes 供电纹波 < 20mVpp,高频段(> 10MHz)需 < 5mVpp。
  • PDN 目标阻抗在 1MHz~100MHz 内需低于 1mΩ,通过多级去耦电容实现。
  • 散热设计需保证芯片结温 < 105℃,模块壳温 < 70℃。风冷平台需保证面板风速 > 2m/s。
设计检查建议:在链路预算表中,将芯片封装、PCB、连接器、模块金手指、光纤各段损耗分别列出,总和应小于 SerDes 均衡能力与模块灵敏度之和,并保留 3dB 以上裕量。

六、链路预算示例

以下为一个 800G C2M 通道的示例预算(数据为合理假设,用于说明方法):

通道总损耗预算 @ 12.9GHz:
  芯片封装 + BGA        : 1.0 dB
  PCB 走线 8 inch       : 11.0 dB
  过孔 3 个             : 1.2 dB
  连接器 + 金手指       : 2.5 dB
  模块内部电口          : 1.5 dB
  ---------------------------------
  合计                  : 17.2 dB
  SerDes FFE+CTLE+DFE   : 可补偿 20 dB
  剩余裕量              : 2.8 dB  → 偏紧,建议优化走线或换低损耗板材

若将板材从普通 FR4 换成 Megtron 6,走线损耗可降至约 8dB,总损耗降至 14.2dB,裕量提升至 5.8dB,链路稳定性明显改善。这说明板材选型、走线长度和过孔数量是设计阶段最可控的三个变量。

注意:以上数值为教学示例,实际设计必须以板材厂商提供的损耗曲线、连接器 S 参数和芯片 SerDes 能力手册为准,并通过通道仿真(如 IBIS-AMI)验证眼图与 BER。

综上,高带宽平台的信号完整性是“芯片—封装—PCB—连接器—模块—光纤”全链路的协同结果。设计时应先建立链路预算,再逐段分配损耗与抖动指标,最后通过仿真和实测(眼图、BER、TDR)闭环验证。电源与散热虽不直接传输信号,却通过抖动和温度间接决定链路能否稳定工作,必须在早期就纳入约束。