4. 网络设备成本：高速网络（InfiniBand、RoCE）交换机、线缆、网卡的成本分析
4.1 核心原理：网络在算力集群成本中的角色
GPU算力集群的算力并非由GPU单卡决定，而是由“GPU—网络—存储”三者协同决定。在分布式训练场景中，每迭代一次模型参数，都需要在数百甚至数千张GPU之间完成梯度同步。以GPT-3级别的1750亿参数模型为例，一次全量参数同步的数据量可达数百GB，若网络带宽不足或时延过高，GPU将长时间处于等待状态，实际算力利用率可能从理论值的90%以上骤降至40%以下。
网络设备成本通常占集群总硬件成本的10%～20%，看似低于GPU（约70%），但其技术选型直接决定了GPU能否发挥预期性能。网络方案一旦确定，后期更换的代价极高——涉及交换机替换、线缆重布、网卡更换，甚至机柜拓扑调整。因此，网络成本分析的核心不是“买最便宜的”，而是在带宽、时延、端口速率、可扩展性之间找到与GPU规模匹配的最优解。
关键判断标准：网络成本是否合理的核心指标是每Gbps有效带宽的造价，以及网络投资占总算力投资的比例。当网络投资低于总算力的10%时，往往意味着网络已成为性能瓶颈；超过25%时，则需审视是否存在过度设计。
4.2 三大核心部件的成本拆解
4.2.1 交换机：网络成本的最大头
交换机成本通常占网络总投资的50%～60%。以主流数据中心交换芯片的定价规律来看，端口速率每提升一倍，单端口成本约增加70%～90%（并非线性翻倍）。例如，一台32口400G的InfiniBand NDR交换机（如NVIDIA QM9790）售价约在25万～35万元，而同端口数的200G HDR交换机约12万～18万元。RoCE方案中，采用Spectrum-4或Tomahawk 5芯片的400G交换机价格约为IB同规格的60%～70%。
选型时需注意交换机有两个关键成本陷阱：
- 端口数≠可用端口数：部分交换机标称64口400G，但实际因芯片内部SerDes限制，满配时可能降速至200G运行，需仔细核对数据表。
- 光模块与交换机分离计价：交换机裸机价格通常不含光模块，400G QSFP-DD光模块单价约8000～15000元，一台64口交换机仅光模块就可能增加50万～90万元成本。
4.2.2 线缆：看似不起眼的“隐形杀手”
线缆成本在方案对比中常被低估，但在大规模集群中差异巨大。三种主流线缆类型如下：
| 线缆类型 | 适用距离 | 单根价格（400G） | 特点 |
|---|---|---|---|
| DAC（无源铜缆） | ≤3米 | 1500～2500元 | 成本最低、功耗为零，但距离受限 |
| AOC（有源光缆） | 3～30米 | 4000～7000元 | 重量轻、弯曲半径小，适合机柜间 |
| 光模块+光纤 | 30米以上 | 8000～15000元 | 最灵活，但需额外光纤布线成本 |
以128节点集群为例，若全部采用DAC铜缆连接TOR到GPU（距离≤3米），线缆成本约25万～40万元；若因机柜布局导致部分链路超过5米而被迫使用AOC，成本将翻倍至60万～90万元。因此，机柜内设备布局直接影响线缆选型与总成本，在规划阶段就应确定GPU服务器与TOR交换机的相对位置。
4.2.3 网卡：每GPU一张的刚性成本
每张GPU通常需要配置一张网络接口卡（NIC）用于跨节点通信。当前主流选择包括：
- InfiniBand HCA卡：NVIDIA ConnectX-7 NDR 400G，单价约1.8万～2.5万元，需配合IB交换机使用。
- RoCE网卡：NVIDIA ConnectX-7或Broadcom NetXtreme系列，400G单价约1.5万～2.2万元，200G约8000～12000元。
- 国产替代：华为、中兴等厂商的400G网卡已逐步成熟，价格约为进口的70%～80%，但在驱动生态和集合通信库兼容性上仍需验证。
网卡成本与GPU数量线性相关，1024张GPU的集群仅网卡一项就需要150万～260万元。部分厂商提供“GPU+网卡”捆绑采购折扣，可争取5%～10%的价格优惠。
4.3 方法流程：从需求到网络方案的成本决策路径
网络方案不应直接由“别人用什么”决定，而应通过以下五步流程推导：
- 确定GPU规模与训练模式：统计GPU总数、单机GPU数（通常8卡/节点）、是否采用张量并行（需节点内高速互联）或数据并行（需跨节点高带宽）。
- 计算聚合带宽需求：以AllReduce通信模式估算，所需聚合带宽 ≈ 单卡通信带宽 × GPU总数 × 通信占比系数（通常0.3～0.5）。
- 选择网络拓扑与收敛比：训练集群通常采用无收敛（1:1）或低收敛（1:2）设计，避免网络成为瓶颈。
- 对比IB与RoCE方案：从总拥有成本（TCO）角度比较，而非仅看硬件单价。
- 细化线缆与光模块清单：根据机柜布局图逐一确认每段链路的距离，确定DAC/AOC/光模块的选型比例。
实操建议：在方案比价阶段，要求供应商提供“端口到端口”的完整报价单，包含交换机、光模块、线缆、网卡、光纤配线架等全部组件，避免后期“漏项加价”。同时预留10%～15%的预算作为冗余端口和备件费用。
4.4 案例场景：128节点RoCE与IB方案对比
某企业计划建设128节点（1024张H800 GPU）的算力集群，用于大语言模型训练。网络团队提出了两套候选方案：
方案一：InfiniBand NDR 400G，采用两层Clos拓扑（Spine-Leaf），Spine层4台64口交换机，Leaf层16台32口交换机，GPU节点通过8张ConnectX-7 HCA卡接入TOR。总网络硬件成本约765万元，折合每GPU约7500元。
方案二：RoCEv2 400G，同样拓扑结构，交换机更换为Spectrum-4系列，网卡更换为RoCE版本ConnectX-7。总成本约625万元，节省约18%。但需额外投入约30万～50万元用于网络调优（PFC死锁预防、ECN阈值调整、流控策略配置）和测试验证。
实际运行中，方案一在千卡规模下训练吞吐量比方案二高约5%～8%，且运维更简单——IB自带拥塞控制，而RoCE需要持续监控和调参。若集群生命周期为5年，方案一多出的140万元投入换来的是更稳定的训练效率和更低的运维人力成本，长期TCO反而可能更优。
4.5 误区与复盘：网络成本决策中的常见陷阱
误区一：只比交换机单价，忽略整体配套成本。某团队选择了看似便宜的国产200G交换机，但发现其光模块只能使用特定厂商产品，单价是通用模块的1.8倍，导致整体成本反而超出预期。
误区二：盲目追求“无收敛”网络。对于以数据并行为主的训练任务，1:1无收敛设计确实必要；但如果模型采用流水线并行且各阶段通信量不均，1:2收敛比可能已足够，可节省约30%的交换机成本。需结合具体训练框架的通信特征做判断。
误区三：忽略RoCE的“隐性成本”。RoCE方案虽然硬件便宜，但需要额外的网络调优时间、监控系统和专家人力。一个常见的复盘结论是：少于256张GPU时，RoCE性价比优势明显；超过512张GPU后，IB的稳定性价值开始超过其价格劣势。
误区四：线缆长度预留不足。某集群规划时按3米DAC设计，但实际部署时因走线槽绕行，部分链路实际需要4.5米，被迫更换为AOC，额外增加成本约20万元。复盘建议：线缆长度预留20%～30%余量，或在规划阶段用3D布线工具精确模拟。
网络设备成本的核心决策逻辑可以总结为：先明确通信模型与规模，再选择技术路线，最后细化到每一根线缆的选型。交换机决定网络的上限，网卡决定每GPU的接入成本，而线缆往往成为预算超支的“隐形变量”。在GPU算力集群建设中，网络投资不是“越省越好”，而是“匹配即可”——过度节省导致GPU闲置的损失，远大于网络设备本身的价差。