3. 高带宽网络平台硬件基础
在 800G/1.6T 数据中心交换平台上,信号完整性(Signal Integrity, SI)不是某一个器件单独决定的指标,而是由交换芯片、SerDes、光模块、PCB 走线、电源与散热六个环节共同构成的“链路预算”问题。任何一环的裕量被吃掉,最终都会表现为误码率(BER)上升、链路降速甚至链路无法建立。理解这条链路的物理构成与约束传递关系,是硬件设计与调试的基础。
一、链路构成与信号流向
以一台 51.2T 交换芯片、32 个 800G 端口的平台为例,一个端口的完整信号路径是:交换芯片内部 SerDes 发送端 → 封装基板 → BGA 焊球 → PCB 差分走线(含过孔、连接器)→ 前面板光模块金手指 → 光模块内部 DSP/CDR → 光引擎 → 光纤。接收方向完全对称。整条链路中,芯片侧是 C2M(Chip-to-Module)接口,模块侧是 M2C 接口,二者共同受 IEEE 802.3ck、OIF-CEI-112G 等标准约束。
二、交换芯片与 SerDes:链路的起点
交换芯片的 SerDes 是整条链路的信号源和判决点。以 112G PAM4 SerDes 为例,发送端通过 FFE(前馈均衡)预加重补偿通道高频损耗,接收端通过 CTLE + DFE 打开眼图。设计约束主要有三点:
- 发送幅度与均衡能力:典型差分输出 800mVppd,FFE 可提供 3~6dB 预加重。若通道损耗超过 SerDes 均衡能力,即使模块正常也无法建链。
- 抖动预算:112G PAM4 的 UI 仅 8.9ps,总抖动(TJ)通常要求 < 0.3UI。参考时钟相位噪声、电源纹波耦合都会直接吃掉抖动裕量。
- 封装与 BGA 出线:封装基板走线损耗约 0.3~0.5dB,BGA 焊球与过孔引入阻抗不连续,需在封装设计阶段与 PCB 协同优化。
三、PCB 走线:最容易被低估的环节
PCB 是链路中物理长度最长、损耗占比最大的部分。以 Megtron 6 板材、12.9GHz 为例,插入损耗约 1.2~1.5dB/inch。若芯片到面板走线 8 英寸,仅走线损耗就达 10~12dB。关键设计约束包括:
| 参数 | 典型要求 | 影响 |
|---|---|---|
| 差分阻抗 | 85Ω ± 10% | 阻抗失配 → 回波损耗恶化 |
| 走线长度匹配 | 对内 < 5mil | 偏斜 → 共模噪声 → EMI |
| 过孔残桩 | < 15mil 或背钻 | 残桩谐振 → 高频损耗尖峰 |
| 串扰 | NEXT < -30dB | 邻近通道噪声 → 眼高下降 |
实际设计中,8 英寸走线通常需要 2~3 个过孔换层。每个过孔引入约 0.3~0.5dB 损耗和阻抗不连续,因此优先选择同层走线或减少换层次数。背钻(back-drill)是控制过孔残桩的常用手段,可将残桩从 60mil 降至 10mil 以内。
四、光模块:电光转换的边界
光模块内部包含 DSP、CDR、驱动器和光引擎。对系统设计而言,模块的关键约束是:
- 电口输入灵敏度:模块 DSP 对输入信号的眼高、抖动有最低要求,通常要求 C2M 接口 BER < 1E-6(经 FEC 后 < 1E-15)。
- 功耗与散热:800G 模块功耗 15~18W,若散热不足导致结温超过 105℃,激光器波长漂移、DSP 误码率上升。
- 金手指连接:模块与 PCB 连接器的阻抗匹配、插损直接影响 C2M 通道预算。
五、电源与散热:隐性的信号完整性因素
电源完整性(PDN)与信号完整性高度耦合。SerDes 的电源纹波会直接调制到输出信号上,形成周期性抖动。典型约束:
- SerDes 供电纹波 < 20mVpp,高频段(> 10MHz)需 < 5mVpp。
- PDN 目标阻抗在 1MHz~100MHz 内需低于 1mΩ,通过多级去耦电容实现。
- 散热设计需保证芯片结温 < 105℃,模块壳温 < 70℃。风冷平台需保证面板风速 > 2m/s。
六、链路预算示例
以下为一个 800G C2M 通道的示例预算(数据为合理假设,用于说明方法):
通道总损耗预算 @ 12.9GHz:
芯片封装 + BGA : 1.0 dB
PCB 走线 8 inch : 11.0 dB
过孔 3 个 : 1.2 dB
连接器 + 金手指 : 2.5 dB
模块内部电口 : 1.5 dB
---------------------------------
合计 : 17.2 dB
SerDes FFE+CTLE+DFE : 可补偿 20 dB
剩余裕量 : 2.8 dB → 偏紧,建议优化走线或换低损耗板材
若将板材从普通 FR4 换成 Megtron 6,走线损耗可降至约 8dB,总损耗降至 14.2dB,裕量提升至 5.8dB,链路稳定性明显改善。这说明板材选型、走线长度和过孔数量是设计阶段最可控的三个变量。
综上,高带宽平台的信号完整性是“芯片—封装—PCB—连接器—模块—光纤”全链路的协同结果。设计时应先建立链路预算,再逐段分配损耗与抖动指标,最后通过仿真和实测(眼图、BER、TDR)闭环验证。电源与散热虽不直接传输信号,却通过抖动和温度间接决定链路能否稳定工作,必须在早期就纳入约束。