3. 服务器高速网络技术选型

在 AMD EPYC 服务器上做高速网络集成，第一步不是插卡、装驱动，而是把“选什么网络、跑多快、用哪种 RDMA”这三件事定下来。选型一旦确定，后面的 PCIe 拓扑、NUMA 绑定、交换机配置、存储与计算配比都会围绕它展开。本节把选型拆成四条主线：以太网与 InfiniBand 的取舍、速率的代际演进、RoCEv2 与 iWARP 的协议差异，以及 RDMA 在 EPYC 平台上到底带来什么价值。

一、以太网与 InfiniBand：两条技术路线的取舍

以太网（Ethernet）是通用网络的事实标准，生态成熟、设备便宜、运维人员熟悉，从 1G 到 400G 都有完整产品线。它的核心优势是“通用”：同一张网可以承载管理、存储、业务、南北向流量，配合 VLAN、VXLAN、BGP EVPN 等可以构建大规模数据中心网络。缺点是传统以太网面向“尽力而为”，时延和丢包控制依赖上层协议，做 RDMA 时需要额外的无损机制（PFC、ECN）来兜底。

InfiniBand（IB）是专为高性能计算设计的网络，从协议层就内置了基于信用的流控、无损传输和硬件级 RDMA。它的时延通常比同速率以太网更低、更稳定，在 MPI 集合通信、大规模 AI 训练中表现突出。代价是专用交换机、专用网卡、专用线缆，成本高、生态相对封闭，且与以太网难以直接互通，通常需要网关或双平面部署。

选型判断可以归纳为：如果业务以通用虚拟化、云原生、分布式存储为主，且希望一张网统一承载，优先以太网 + RoCEv2；如果业务是紧耦合 HPC、大规模 GPU 训练，对微秒级时延和集合通信效率极度敏感，且预算允许独立组网，InfiniBand 更合适。EPYC 平台两种都能支持，关键看业务形态而非 CPU 本身。

二、25G/100G/200G/400G 速率演进

服务器接入速率大致沿 10G → 25G → 100G → 200G → 400G 演进。25G 是 10G 的升级替代，单通道 25Gbps，用 SFP28 接口，成本和功耗接近 10G，适合通用服务器接入。100G 通常由 4×25G 通道聚合，用 QSFP28，是当前数据中心主流的高速接入/汇聚速率。200G 由 4×50G 或 8×25G 实现，400G 由 8×50G 或 4×100G 实现，多用 QSFP56/QSFP-DD/OSFP 封装，面向 AI 训练、高性能存储和骨干互联。

速率提升不只是“更快”，还改变了每 Gbps 的成本、功耗和布线密度。以 100G 为例，QSFP28 端口可向下兼容 40G/25G，布线用 MPO/MTP 多模或单模，DAC 直连铜缆适合机柜内 3 米以内，AOC 有源光缆适合 10 米级，光模块适合更长距离。选速率时要同时看网卡、交换机端口、线缆和 PCIe 带宽是否匹配：例如 400G 网卡需要 PCIe 4.0 x16 或 PCIe 5.0 x16 才能跑满，EPYC 9004 平台提供 PCIe 5.0，正好为 200G/400G 留足上行带宽。

三、RoCEv2 与 iWARP：两种 RDMA 承载方式

RDMA 要跑在以太网上，有两条路。RoCEv2 把 RDMA 报文封装在 UDP/IP 之上，因此可以跨三层路由，适合大规模数据中心。它的前提是网络“无损”：通过 PFC（优先级流控）在链路层防止丢包，通过 ECN（显式拥塞通知）在拥塞时让发送端降速。RoCEv2 生态广、性能好，是当前主流，但 PFC 配置不当可能引发死锁或风暴，需要谨慎规划优先级和 DCBX。

iWARP 把 RDMA 直接跑在 TCP 之上，利用 TCP 自身的可靠传输和拥塞控制，因此不需要无损以太网，配置简单、可跨广域。代价是 TCP 协议栈处理带来额外时延，且支持 iWARP 的网卡和交换机生态相对窄。实际选型中，如果机房网络已经具备或愿意建设无损以太网，选 RoCEv2；如果网络环境复杂、跨域多、不想动现有以太网，iWARP 更省心。

四、RDMA 原理及其在 EPYC 平台上的价值

RDMA（Remote Direct Memory Access）的核心是让网卡直接读写远端内存，绕过 CPU 和内核协议栈。传统 TCP 收发要经过内核拷贝、中断处理、上下文切换，数据量大时 CPU 开销显著。RDMA 通过“零拷贝”和“内核旁路”，把数据从应用缓冲区直接交给网卡发送，接收端网卡直接写入应用内存，CPU 几乎不参与数据搬运。

RDMA 提供两种语义：双边操作（Send/Recv）需要接收端预先投递缓冲区；单边操作（RDMA Read/Write）由发起端直接读写远端内存，接收端 CPU 完全无感。单边操作是分布式存储、KV 缓存、GPU 显存直取的理想原语。配合完成队列（CQ）和完成事件，应用可以批量提交、异步等待，进一步降低开销。

在 EPYC 平台上，RDMA 的价值被放大。EPYC 9004 单路最高 96 核、支持 12 通道 DDR5 和 PCIe 5.0，内存带宽和 I/O 带宽都很充裕。当网络速率到 200G/400G 时，传统 TCP 可能吃掉数个甚至十几个核心做协议处理，而 RDMA 把这些 CPU 释放出来跑业务。对于 EPYC 这种“多核 + 高内存带宽”的平台，RDMA 让网络不再成为瓶颈，CPU 可以专注于计算。实际部署时，建议把网卡插在对应 NUMA 节点的 PCIe 插槽，并用 numactl 或 irqbalance 把中断和轮询线程绑定到同节点核心，避免跨 NUMA 访问拖累时延。

五、一个可参考的选型判断表

最后提醒一点：速率、协议、网卡、交换机、线缆、PCIe 带宽和 NUMA 拓扑是一个整体。选 400G 网卡却只给 PCIe 4.0 x8，实际带宽会被砍半；选了 RoCEv2 却没规划 PFC 优先级，拥塞时性能可能还不如普通 TCP。把本节四条主线对齐，再进入后续的 PCIe 拓扑与 NUMA 绑定，EPYC 平台的高速网络才能真正跑出应有的水平。