3. 硬件与网络架构：GPU服务器、HCA网卡、交换机选型及拓扑设计
3.1 核心原理：GPU Direct RDMA的硬件依赖链
GPU Direct RDMA之所以能实现“GPU到GPU”或“GPU到远端内存”的直接数据交换，其物理基础是一条完整的硬件依赖链。任何一环的缺失或规格不匹配，都会导致技术无法生效，甚至回退到传统的“GPU→CPU→网卡”拷贝路径。这条链路的核心要素包括：
- GPU显存与PCIe通道：GPU必须支持BAR1（Base Address Register 1）映射，且其PCIe根端口能够将显存地址空间暴露给外部设备。NVIDIA A100/H100、A30、L40S等均原生支持。
- HCA网卡（Host Channel Adapter）：即InfiniBand或RoCE网卡，必须支持Peer-to-Peer（P2P）DMA访问。Mellanox（现NVIDIA）ConnectX-5/6/7系列是生产环境最常用的选择。
- PCIe Switch与拓扑：GPU与HCA必须处于同一PCIe域内，且中间不能经过CPU的QPI/UPI总线进行数据转发，否则P2P性能会大幅下降。
- 网络协议与交换机：InfiniBand需要子网管理器（SM）配置，RoCEv2则需要无损以太网（PFC/ECN）支持。
下图展示了GPU Direct RDMA在生产环境中的典型硬件连接关系，重点标出了数据面与控制面的路径差异：
3.2 硬件选型要点与方法流程
生产环境的硬件选型不能只看单卡性能，必须从“整机PCIe拓扑”和“网络规模”两个维度综合评估。以下是经过多个生产项目验证的选型流程：
- 确定GPU型号与数量：优先选择支持PCIe P2P且BAR1空间充足的GPU。消费级卡（如RTX 4090）虽然支持，但官方驱动对P2P限制较多，不建议生产使用。
- 选择HCA网卡：根据GPU数量决定端口速率。单GPU对应200Gb/s HDR100即可；若多GPU共享一张HCA，则需要400Gb/s NDR或双端口HDR。
- 验证PCIe拓扑：使用
nvidia-smi topo -m检查GPU与HCA是否挂在同一个PCIe Switch下。理想状态是PIX（同一PCIe Switch）或PHB（同一PCIe根端口）。 - 选择交换机：InfiniBand场景下，QM8790（36端口 HDR）或QM9700（64端口 NDR）是主流选择；RoCEv2场景则需要支持PFC和ECN的以太网交换机（如Spectrum-2/3）。
- 规划线缆与光模块：200Gb/s HDR通常使用QSFP56光模块，400Gb/s NDR使用QSFP-DD。线缆长度超过5米时建议使用有源光缆（AOC）。
ibv_devinfo 可查看HCA是否支持P2P；执行 nvidia-smi topo -m 可查看GPU与HCA的PCIe距离。若输出中GPU与HCA之间显示 NODE 或 SYS，则说明数据路径需要经过CPU，GPU Direct RDMA性能将大打折扣。
3.3 典型生产拓扑案例：8卡GPU服务器 + 200Gb/s InfiniBand
以一个标准的AI训练节点为例，该节点配置8张A100 GPU、2张ConnectX-6 HCA（每张提供2个200Gb/s端口），通过QM8790交换机组成无阻塞胖树网络。其硬件配置清单如下：
| 组件 | 型号/规格 | 数量 | 关键参数 |
|---|---|---|---|
| GPU | NVIDIA A100 80GB PCIe | 8 | PCIe Gen4 x16，BAR1=32GB |
| HCA | ConnectX-6 VPI | 2 | 双端口 HDR200，P2P支持 |
| PCIe Switch | Broadcom PEX8796 | 1 | 96通道，Gen4，用于GPU-HCA互联 |
| 交换机 | QM8790 | 1（叶子） | 36端口 HDR200，子网管理器冗余 |
| 线缆 | QSFP56 AOC | 4 | 长度10m，200Gb/s |
该拓扑的核心设计原则是：每张HCA的2个端口分别连接两台不同的叶子交换机，实现“服务器-交换机”层面的冗余。同时，GPU 0-3共享第一张HCA，GPU 4-7共享第二张HCA，确保每个GPU到HCA的PCIe带宽不低于PCIe Gen4 x16（约32GB/s单向）。
3.4 常见误区与生产复盘
从实际项目复盘来看，一次典型的故障排查过程如下：某客户反馈GPU Direct RDMA带宽仅达到理论值的60%。通过 ibv_asyncwatch 和 nvidia-smi p2p -c 检查后发现，HCA固件版本过旧，不支持与A100的P2P优化。升级固件至 fw 20.31.1014 后，带宽恢复正常。这提醒我们：硬件选型不仅看型号，还要核对固件与驱动版本矩阵。NVIDIA官方提供了详细的 GPU Direct RDMA Support Matrix，在部署前务必逐项核对。
另一个容易被忽视的细节是交换机的子网管理器（SM）配置。在InfiniBand环境中，如果SM未启用自适应路由或未正确配置分区（Partition），即使硬件全部达标，GPU Direct RDMA也可能因路径冲突而性能下降。建议在部署初期就启用SM的 adaptive routing 和 SL=2 的QoS策略，并在上线前用 ib_write_bw 进行端到端压测验证。