2. Optical I/O系统总体架构

理解 Optical I/O 在 AI 加速器中的位置,不能只把它当成“把铜缆换成光纤”的简单替换。真正决定系统能力的,是光互连被放在哪一层、光引擎与交换芯片各自负责什么、数据从计算单元到远端 HBM 或另一颗加速器之间要经过哪些边界,以及这些边界上用什么指标衡量是否达标。本节围绕这四个问题展开,先建立层级划分,再明确边界,最后落到端到端通路与关键性能指标。

一、光互连在 AI 加速器中的层级划分

AI 加速器的互连通常可以划分为四个层级,光互连并非一开始就出现在所有层级,而是随着距离和带宽需求逐步渗透。

  • Die 内互连:计算核心、片上 SRAM、NoC 之间的连接,距离在毫米级,目前仍以铜互连和硅中介层为主,光互连在此层尚不经济。
  • 封装内互连:同一封装内多个 die 或 chiplet 之间的连接,距离在厘米级,典型如 HBM 与计算 die 之间。此层开始出现硅光中介层或光桥方案,用于突破铜互连的带宽密度和功耗瓶颈。
  • 板级与机架内互连:同一节点内加速器之间、加速器与交换芯片之间的连接,距离在几十厘米到数米,这是当前 Optical I/O 最主要的落点,用于替代高速铜缆和背板。
  • 机架间与集群互连:跨节点、跨机架的连接,距离从数米到数百米,光互连已是默认选择,重点转向可插拔光模块与共封装光学的取舍。

层级划分的核心判断依据是距离与带宽密度的乘积。当铜互连在目标距离上无法同时满足带宽密度、功耗和信号完整性时,光互连就进入该层级。对 AI 加速器而言,封装内和板级是当前工程实现最活跃的两个层级。

二、光引擎与交换芯片的边界

光引擎负责电信号与光信号之间的转换,交换芯片负责电域内的路由与调度。两者的边界不是简单的“一个做光电转换、一个做交换”,而是由接口协议、数据格式和时钟域共同定义的。

在典型架构中,交换芯片输出高速电信号(如 112G PAM4 SerDes),经过通道到达光引擎;光引擎完成电光转换,把信号调制到光载波上,再通过光纤发送。接收方向则相反:光引擎完成光电探测和信号恢复,把电信号送回交换芯片。边界上的关键接口包括:

  • 电接口:交换芯片与光引擎之间的 SerDes 通道,决定单通道速率和通道数。
  • 数据格式:是否经过 FEC 编码、是否携带前导码和训练序列,影响延迟和误码率。
  • 时钟与同步:光引擎通常需要独立的参考时钟和 CDR 电路,边界处要处理时钟域跨越。
  • 管理接口:光引擎的温度、偏置电流、光功率监测等通过 I2C/MDIO 等低速接口上报,供交换芯片或 BMC 读取。

工程上常见的边界划分方式有两种:一种是光引擎作为独立模块靠近交换芯片放置,交换芯片保留完整 SerDes;另一种是光引擎与交换芯片共封装,SerDes 距离缩短,功耗和信号完整性更好,但可维护性和散热设计更复杂。选择哪种,取决于端口密度、功耗预算和现场可更换需求。

AI加速器Optical I/O端到端数据通路与层级边界 计算Die 封装内互连 板级互连 机架间互连 计算核心 + NoC Tensor Core / SM HBM 堆栈 高带宽本地存储 封装边界(硅光中介层 / 光桥) 光引擎 OE-1 光引擎 OE-2 板级边界(PCB / 背板) 交换芯片 交换芯片 SerDes 112G PAM4 SerDes 112G PAM4 机架间边界(光纤 / 光缆) 可插拔光模块 可插拔光模块 光纤 远端AI加速器 计算 + HBM + 光引擎 关键性能指标(KPI) 单通道速率:112 Gbps PAM4 聚合带宽:51.2 Tbps / 节点 端到端时延:< 500 ns 能效:< 5 pJ/bit 误码率:< 1E-15(含FEC) 光功率预算:> 6 dB 余量 端到端数据流方向 计算Die → NoC → SerDes → 光引擎 → 光纤 → 远端光引擎 → SerDes → 交换 → 远端HBM / 计算核心

三、端到端数据通路

以一次典型的远端 HBM 访问为例,数据从本地计算 die 发出,经过 NoC 到达交换芯片的 SerDes 接口,再进入光引擎完成电光转换,通过光纤传输到远端光引擎,完成光电转换后回到远端交换芯片,最终写入远端 HBM 或参与远端计算。反向读取时路径对称。

这条通路上的关键节点包括:NoC 仲裁、SerDes 串行化、光引擎调制、光纤传输、远端光引擎探测、远端 SerDes 恢复、远端交换路由。每个节点都会引入延迟和功耗,端到端指标是这些节点贡献的累加。工程上常用“每比特能耗”和“每跳延迟”来分解问题,而不是只看总带宽。

一个值得注意的细节是 FEC 的位置。如果 FEC 在交换芯片内完成,光引擎只做透明传输,边界清晰但交换芯片负担重;如果 FEC 下沉到光引擎,交换芯片可以简化,但光引擎复杂度和功耗上升。两种方案在端到端延迟上也有差异,前者通常多一次编解码延迟。

四、关键性能指标与判断依据

衡量 Optical I/O 系统是否达标,不能只看峰值带宽。以下指标需要同时满足,且相互制约。

指标 典型目标(示例) 观察与判断方式
单通道速率 112 Gbps PAM4 SerDes 眼图张开度、误码率测试
聚合带宽 51.2 Tbps / 节点 多通道并行压力测试,统计有效吞吐
端到端时延 < 500 ns 往返延迟测量,扣除协议栈开销
能效 < 5 pJ/bit 总功耗除以有效传输比特数
误码率 < 1E-15(含FEC) 长时间误码计数,结合FEC纠正统计
光功率预算 > 6 dB 余量 发送/接收光功率监测,老化后仍达标

这些指标之间存在权衡。例如提高单通道速率会压缩光功率预算和误码率余量;降低能效往往需要更复杂的调制或更强的 FEC,从而增加延迟。工程实现中需要根据 AI 加速器的实际负载特征确定优先级:训练任务通常更关注带宽和能效,推理任务可能更关注延迟确定性。

在实际调试中,建议先固定单通道速率和 FEC 模式,测量误码率和光功率预算;再逐步增加并行通道数,观察聚合带宽和能效是否线性扩展。如果某一步出现非线性恶化,通常问题出在串扰、散热或时钟同步,而不是光引擎本身。

总结来看,Optical I/O 系统总体架构的核心是三层判断:光互连放在哪一层,由距离和带宽密度决定;光引擎与交换芯片的边界,由接口协议、FEC 位置和时钟域决定;端到端是否达标,由带宽、延迟、能效、误码率和光功率预算共同决定。把这三点理清,后续的器件选型、封装设计和系统调试才有明确的依据。