2. GPU集群互连需求分析

互连网络的设计不能从“选什么交换机”开始，而必须从“任务需要什么”开始。同一张GPU集群网络，跑大模型训练、跑CFD/HPC、跑在线推理，对带宽、延迟、扩展性和成本的压力点完全不同。本节的任务是把这三类负载翻译成可量化的网络需求，形成后续拓扑选型、拥塞控制和成本权衡的输入。

一、三类负载的通信特征

AI训练以数据并行、张量并行、流水线并行和专家并行混合为主。数据并行在每次迭代末尾做梯度AllReduce，通信量与参数量成正比；张量并行在层内频繁做AllReduce或AllGather，对延迟和带宽都敏感；流水线并行产生周期性点对点激活传递，容易形成突发；专家并行（MoE）则产生All-to-All，是典型的“多对多”模式，对网络对分带宽和负载均衡要求最高。训练任务通常持续数小时到数周，追求的是高持续带宽、低尾延迟、可预测的完成时间。

HPC以MPI通信为核心，典型模式包括邻居交换（stencil）、全局归约（AllReduce）、快速傅里叶变换中的All-to-All。HPC对低延迟极为敏感，因为很多通信是细粒度、小消息、高频次的；同时HPC常要求可扩展性接近线性，即节点数翻倍时性能仍能按比例提升。HPC还常涉及CPU-GPU协同，网络需要同时承载主机侧和设备侧流量。

推理分为离线批推理和在线服务推理。离线批推理通信模式接近训练但规模更小；在线推理以请求-响应为主，单次通信量小，但对尾延迟（P99）极其敏感，因为用户可感知。推理集群还常采用多副本、负载均衡和KV Cache传输，网络需要支持高并发小消息和突发流量。

二、带宽需求的量化方法

带宽需求可以从“单GPU出口带宽”和“网络对分带宽”两个层面估算。以训练为例，假设模型参数量为P，采用数据并行，梯度用FP16存储，则一次AllReduce需要传输约2P字节（Reduce-Scatter + AllGather）。若每步计算时间为T_comp，则梯度同步所需带宽为2P/T_comp。例如P=70B（700亿参数），FP16下梯度约140GB，若每步计算耗时200ms，则AllReduce需要约140GB/0.2s=700GB/s的聚合带宽。若集群有512块GPU，每块GPU平均需要约1.37GB/s的出口带宽用于梯度同步——这还没算张量并行和流水线的额外流量。实际工程中，单GPU出口带宽通常按400Gbps（50GB/s）配置，留出余量应对突发和混合并行。

对分带宽（bisection bandwidth）是衡量网络整体能力的关键指标。对于N个节点的胖树，对分带宽约为N/2×单链路带宽。若集群有1024块GPU，每块400Gbps，则对分带宽至少需要1024/2×400Gbps=204.8Tbps。若采用Rail-Optimized拓扑，对分带宽会降低，但成本也下降，适合通信模式以邻居交换为主的HPC场景。

三、延迟约束与可扩展性

延迟分为链路延迟、交换延迟和协议栈延迟。GPU集群中，RDMA over Converged Ethernet（RoCE）或InfiniBand的端到端延迟通常在1.5～3μs。对HPC的细粒度通信，若单次通信延迟为2μs，而计算时间为1μs，则通信开销占比超过60%，必须通过计算通信重叠或降低延迟来优化。对训练，AllReduce的延迟主要影响同步点，若每步有多次AllReduce，累积延迟会显著拉长迭代时间。

可扩展性常用等效率或等速度模型衡量。理想情况下，节点数翻倍，性能翻倍；但网络拥塞、协议开销和同步等待会使实际加速比下降。工程上关注“扩展效率”，即N节点加速比/N。若扩展效率低于80%，就需要检查网络是否成为瓶颈。对推理，可扩展性更多体现为副本数增加时，P99延迟是否保持稳定。

四、成本约束与权衡

成本包括交换机端口成本、光模块成本、线缆成本和运维成本。以400G端口为例，交换机单端口成本约500～1000美元，光模块约300～600美元，线缆约50～200美元。若集群有1024块GPU，每块需要1～2个400G端口，则网络硬件成本约在150万～300万美元。若采用800G端口，端口密度翻倍，但光模块和交换机成本也上升，需要根据带宽需求判断是否值得。

成本优化的核心是“按需分配”。训练集群可以接受较高的对分带宽和较低收敛比（如1:1），因为AllReduce和All-to-All对带宽敏感；HPC集群可以采用收敛比1:2或1:3，因为邻居交换的局部性较强；推理集群可以采用收敛比1:4甚至更高，因为请求-响应流量分散且可容忍一定排队。此外，推理集群可以利用CPU-GPU异构和模型量化降低单请求带宽，从而降低网络成本。

五、需求到设计的映射

把上述需求整理成设计输入，可以形成一张“需求-指标-设计”对照表。训练任务优先保证对分带宽和低尾延迟，适合胖树或Dragonfly+；HPC优先保证低延迟和线性扩展，适合胖树或Torus；推理优先保证P99延迟和弹性，适合叶脊架构加负载均衡。成本约束则决定收敛比、端口速率和光模块类型。后续章节将围绕这些输入，展开拓扑选型、路由策略和拥塞控制的具体设计。