2. 数据中心光互连挑战与OCS价值分析
在AI/ML集群规模从千卡走向万卡、十万卡的过程中,数据中心内部网络的压力已经从“够不够快”转变为“能不能同时满足带宽、时延、功耗和成本”。理解Lumentum OCS(Optical Circuit Switch,光路交换)的价值,需要先看清传统电交换在东西向流量爆发下暴露出的结构性瓶颈,再分析光路交换为什么能在带宽与功耗两个维度同时给出更优解。
东西向流量:从配角变成主角
传统数据中心以“南北向”流量为主,即客户端与服务器之间的请求—响应模式。这种流量可以用树形或叶脊(Spine-Leaf)架构较好地承载,因为大部分通信发生在接入层与核心层之间,路径相对固定。但在AI训练场景中,情况发生了根本变化:一次大模型训练需要成百上千张GPU协同完成梯度同步、参数交换和AllReduce集合通信,通信对象是“任意GPU到任意GPU”,流量呈现典型的“东西向”特征。
以典型的大模型训练为例,假设一个集群有4096张GPU,采用数据并行加张量并行混合策略。每一轮迭代中,AllReduce操作会让每张GPU与同组内其他GPU交换梯度数据。若单卡梯度数据量为数百MB,一轮通信量可达TB级别,而训练往往需要数十万轮迭代。这意味着集群内部的东西向流量可能比南北向高出1~2个数量级,且呈现突发性、周期性、全互联的特征。
这种流量模式对网络提出了三个硬性要求:第一,任意两点之间要有高带宽路径;第二,通信时延要低且稳定,否则会拖慢同步节奏;第三,网络功耗不能随端口数线性膨胀,否则电费和散热将不可承受。
传统电交换的三重瓶颈
传统电交换(基于SerDes、交换芯片和背板/铜缆)在东西向流量面前暴露出三个瓶颈。
带宽瓶颈。电交换芯片的容量受限于SerDes速率和芯片I/O数量。虽然单通道速率从25Gbps提升到112Gbps甚至224Gbps,但芯片总容量增长逐渐放缓。当集群需要数万条400G/800G链路时,需要多级电交换级联,每一级都引入时延和功耗。更关键的是,电交换的带宽扩展依赖“更多端口、更高速率”,而高速SerDes的功耗和信号完整性代价急剧上升。
功耗瓶颈。电交换每比特的能耗大约在数皮焦耳(pJ/bit)量级,且随着速率提升,均衡、时钟恢复、驱动等电路的功耗并未同比下降。一个典型的大型电交换集群,网络功耗可占集群总功耗的10%~20%。在AI集群中,GPU本身功耗已经很高,网络功耗的每一瓦都直接挤压算力预算。
时延与拥塞瓶颈。多级电交换意味着数据包要经过多次存储转发、排队和调度。在AllReduce这类同步通信中,最慢的一条路径决定整体速度,拥塞和尾时延会被放大。此外,电交换的缓存和调度机制在突发流量下容易产生排队抖动,影响训练稳定性。
光路交换的带宽与功耗优势
光路交换的核心思想是:在光域直接建立端到端的物理通道,让光信号从源端口透明传输到目的端口,中间不经过光电转换和电交换芯片。这与电交换的“存储—转发—调度”模式有本质区别。
从带宽角度看,OCS的通道带宽由光波长和光纤决定,单根光纤通过波分复用(WDM)可以承载数十甚至上百个波长,每个波长可达400G/800G。OCS本身不解析数据包,只负责切换光路,因此其“交换容量”可以做到很大,且与信号速率解耦——升级端口速率不需要更换交换核心,只需更换两端光模块。
从功耗角度看,OCS的功耗主要来自光开关的驱动、控制电路和光放大(如有),不涉及每比特的SerDes和交换芯片功耗。以Lumentum OCS采用的MEMS(微机电系统)光开关为例,其切换动作是物理镜面偏转,保持状态下几乎不耗电,功耗与端口数和切换频率相关,而不是与流量比特数线性相关。这意味着在流量持续增长时,OCS的功耗增长远低于电交换。
从时延角度看,光路一旦建立,信号以光速传输,没有电交换的存储转发和排队,时延可预测且极低。对于AllReduce这类对同步敏感的操作,稳定的低时延比平均时延更重要。
Lumentum OCS在AI/ML集群中的角色
在AI/ML集群中,Lumentum OCS并不是要完全取代电交换,而是承担“大带宽、长距离、周期性重配置”的骨干连接角色。典型的部署方式有两种。
第一种是作为Spine层的补充或替代。在叶脊架构中,Leaf交换机负责接入GPU服务器,Spine层负责Leaf之间的全互联。当Spine层需要承载大量东西向流量时,可以用OCS构建一个可重构的光纤骨干:每个Leaf通过光模块连接到OCS的端口,OCS根据训练任务的通信模式动态建立Leaf之间的光路。这样,Spine层的带宽不再受电交换芯片容量限制,功耗也大幅降低。
第二种是作为GPU直连的交换层。在更激进的架构中,GPU网卡直接通过光模块连接到OCS,OCS在GPU之间建立光路。这种架构下,通信路径最短,时延最低,但要求OCS端口数足够多、切换速度足够快,且需要上层调度软件配合,在训练任务开始前或通信阶段切换光路。
Lumentum OCS的核心器件是MEMS光开关矩阵,其特点是:端口数可做到数百甚至上千;切换时间在毫秒级;插入损耗较低;对波长和速率透明。这意味着它既能支持当前的400G/800G,也能平滑演进到1.6T,而不需要更换交换核心。对于AI集群而言,这种“速率无关”的特性非常重要,因为GPU和光模块的迭代速度远快于交换机的更换周期。
在实际工程中,OCS的价值还体现在“可重构性”上。AI训练任务的通信模式并非一成不变:数据并行、张量并行、流水线并行对应不同的通信拓扑。传统电交换依赖路由协议和拥塞控制来适应,而OCS可以在任务切换时直接重配置光路,把带宽“物理地”分配到需要的方向上。这种能力在万卡集群中尤为关键,因为任何一条链路的拥塞都可能拖慢整个同步过程。
价值判断:什么时候该引入OCS
判断一个AI集群是否适合引入OCS,可以从三个维度评估。第一,东西向流量占比是否超过50%,且呈现明显的周期性同步通信;第二,网络功耗是否已经占到集群总功耗的10%以上,且电交换扩容成本急剧上升;第三,集群规模是否达到数千张GPU以上,使得多级电交换的时延和拥塞成为训练瓶颈。
如果三个条件中有两个以上成立,OCS就值得纳入架构设计。它带来的收益不仅是带宽和功耗,还包括更可预测的时延、更平滑的速率演进路径,以及更灵活的拓扑重构能力。对于Lumentum OCS而言,其在AI/ML集群中的角色可以概括为:用光域的透明通道,承接电交换难以高效承载的大带宽、周期性、全互联通信,让网络不再成为算力释放的瓶颈。