3. 高速网络技术基础与选型对比

在Supermicro服务器平台上做高速网络集成，第一步不是插卡、不是配IP，而是先判断“这条链路到底该用哪种技术”。以太网、InfiniBand、RoCE、iWARP、NVLink这五类技术经常被放在一起比较，但它们并不处在同一个抽象层级：以太网和InfiniBand是链路层与网络层技术，RoCE和iWARP是在以太网上承载RDMA的两种协议栈，NVLink则是GPU之间的专用高带宽互连。选型时如果把它们当成同一维度的“网卡选项”，很容易出现“买了400G网卡却跑不出低时延”或“用RoCE替代NVLink做GPU显存直连”这类错配。

五类技术的定位与关键参数

先看速率与介质。当前主流数据中心以太网已从10/25G过渡到100G/200G/400G，800G在AI集群中开始部署；InfiniBand从EDR 100G、HDR 200G、NDR 400G到XDR 800G，每代速率翻倍，且端口密度和交换时延持续优化。RoCE与iWARP本身不定义物理速率，它们跑在以太网之上，因此速率取决于底层以太网卡和交换机。NVLink则走GPU间专用通道，A100为12条链路、单链路50GB/s、总带宽600GB/s，H100提升到900GB/s，B200进一步到1.8TB/s，远高于任何通用网络。

时延方面，InfiniBand交换机端口时延可低至100ns量级，端到端MPI时延通常在1～2μs；RoCEv2在无损以太网上端到端时延约2～5μs，接近InfiniBand但依赖PFC/ECN调优；iWARP基于TCP，时延通常5～10μs，CPU开销略高但兼容性最好；NVLink时延在百纳秒级，且不经过PCIe和网卡，是GPU显存访问的最短路径。以太网TCP/IP时延通常在10μs以上，适合通用业务而非紧耦合HPC。

适用场景与Supermicro平台适配要点

InfiniBand适合大规模MPI、NCCL集合通信、存储前端，Supermicro的GPU服务器如AS-8125GS-TNHR、SYS-821GE-TNHR可配NDR/HDR HCA，需注意PCIe Gen5 x16插槽与GPU拓扑的对应关系，避免HCA挂在远离GPU的PCIe Switch下。RoCEv2适合已有以太网运维体系、又想获得RDMA能力的场景，Supermicro的X12/X13系列主板配合Mellanox ConnectX-6/7或Broadcom Thor网卡，需在交换机侧配置PFC、ECN和DCQCN，并在服务器侧设置无损队列。iWARP适合对兼容性要求高、不愿改造以太网无损能力的场景，Intel E810系列网卡支持iWARP，Supermicro 1U/2U通用服务器可直接使用。NVLink用于GPU间通信，Supermicro的HGX和GB200 NVL72平台通过NVLink Switch实现GPU全互联，此时网络选型应聚焦于东西向参数面网络，而非用NVLink替代以太网。

选型时容易忽略的三个工程细节

第一，PCIe拓扑决定实际带宽。Supermicro GPU服务器中，HCA或NVLink Switch的PCIe插槽位置直接影响GPU到网卡的路径。若HCA挂在CPU0的PCIe Root Complex下，而GPU挂在CPU1下，跨Socket通信会引入额外时延。建议在BIOS中确认PCIe ARI/SR-IOV设置，并用lspci -tv核对HCA与GPU的拓扑距离。

第二，RoCEv2的无损网络不是“配了PFC就完事”。需要在交换机上为RDMA流量划分独立优先级队列，配置PFC阈值和ECN标记，服务器侧用mlnx_qos设置信任模式为DSCP，并用cma_roce_mode确认RoCEv2模式。若PFC配置不当，会出现“带宽正常但时延抖动大”的现象，此时应检查ethtool -S中的pause帧计数和ECN标记统计。

第三，NVLink与网络的分工要清晰。NVLink解决GPU间显存访问，参数面网络（如NCCL over IB/RoCE）解决跨节点通信。Supermicro GB200 NVL72中，NVLink Switch负责机柜内72 GPU全互联，而跨机柜仍依赖InfiniBand或RoCE。选型时不要把NVLink带宽直接等同于集群通信带宽，两者是互补关系。

一张可执行的选型对照表

实际选型时，建议按“GPU间通信→跨节点集合通信→存储与管理”三层依次判断：GPU间优先NVLink，跨节点紧耦合优先InfiniBand或RoCEv2，通用业务和存储走以太网，兼容性受限时用iWARP兜底。在Supermicro平台上，还要结合具体机型的前后窗布局、PCIe Gen5插槽数量和散热风道，确认所选HCA或交换模块能物理安装并满足功耗与散热要求，再进入配置阶段。