1. 课程导入与AI加速器I/O瓶颈
过去十年,AI加速器的算力以远超摩尔定律的速度增长:单芯片FP32算力从数百GFLOPS攀升到数百TFLOPS,稀疏与低精度(FP8/INT4)进一步把有效吞吐推高一个数量级。但与之配套的互连带宽增长明显滞后。以典型的高端训练加速器为例,单芯片HBM带宽约3~8 TB/s,而芯片间(die-to-die、chip-to-chip)与机架间(rack-to-rack)链路的每通道带宽长期停留在50~112 Gb/s量级。算力与互连带宽之间逐年扩大的差距,就是本课程要解决的核心矛盾——I/O瓶颈。
这个瓶颈不是抽象概念,它会直接体现在训练效率上。以一个大模型训练任务为例:假设单卡算力为1000 TFLOPS(FP8),一次全归约(All-Reduce)需要搬运的梯度量为模型参数量×2字节。若模型为70B参数,则单次全归约数据量约140 GB。若互连带宽为400 GB/s,仅通信时间就约0.35 s;而同等算力下完成一次前向+反向计算的时间可能只有几十毫秒。结果是GPU大量时间在等数据,算力利用率(MFU)被通信拖到30%以下。这就是为什么互连带宽必须与算力同步提升。
传统电互连(SerDes + 铜缆/PCB走线)在112 Gb/s以上面临严重的信号完整性问题:信道损耗随频率上升、串扰加剧、均衡电路功耗快速增加。当单通道速率推向224 Gb/s甚至448 Gb/s时,铜互连的传输距离被压缩到几十厘米以内,且每比特能耗(pJ/bit)难以继续下降。光互连(Optical I/O)用光纤替代铜缆,用光模块替代SerDes长距驱动,具备三个关键优势:低损耗、长距离、高密度。光纤的传输损耗约0.2 dB/km,远低于铜缆;波分复用(WDM)可在单根光纤中并行传输多个波长,把每通道带宽成倍放大;硅光(Silicon Photonics)与共封装光学(CPO)则把光引擎拉近到芯片边缘,缩短电走线,降低驱动功耗。
本课程的知识地图围绕“从电到光、从芯片到系统”的主线展开,可划分为五个层次:
- 物理层:光调制器、光电探测器、波导、耦合器、激光器(如微环调制器、MZM、Ge探测器)。
- 链路层:光发射/接收链路预算、消光比、误码率(BER)、均衡与时钟恢复。
- 协议层:光互连上的高速串行协议(如UCIe、PCIe over Optics、以太网/InfiniBand扩展)。
- 架构层:CPO、OBO(On-Board Optics)、可插拔光模块的取舍;交换拓扑与光交换(OCS)。
- 系统层:AI加速器集群的带宽匹配、功耗预算、热管理与可靠性。
工程目标可以概括为三个可量化的指标:带宽密度(Gb/s/mm)、能效(pJ/bit)、可靠性(FIT率或MTBF)。以当前业界目标为例,CPO方案希望把每比特能耗压到2~5 pJ/bit,而传统可插拔光模块通常在10~15 pJ/bit;带宽密度则希望从可插拔的约100 Gb/s/mm提升到CPO的500 Gb/s/mm以上。这些数字不是装饰,而是后续每一章设计取舍的判据。
理解这张图的关键在于:算力曲线与带宽曲线之间的“缺口”不是靠单一技术填补的,而是需要物理层、链路层、协议层、架构层、系统层协同设计。例如,物理层把调制器带宽做上去,链路层才能用更简单的均衡达到目标BER;架构层选择CPO,才能把电走线缩短、把能效压下来;系统层则要根据集群规模决定光交换是否值得引入。任何一层单独优化,都可能被另一层的瓶颈抵消。
本课程后续章节将沿着这条主线逐层展开。第一章先建立全局认知:为什么必须做Optical I/O、它解决什么问题、衡量它好坏的指标是什么。从第二章开始进入物理层器件,随后逐层向上,最终落到系统级设计与工程验证。学习过程中建议始终带着三个问题:这一层的带宽上限由什么决定? 这一层的能效瓶颈在哪里? 这一层的选择如何影响上下层? 把这三个问题贯穿始终,就能把零散的器件知识串成可用的系统设计能力。