数据中心网络基础：网络分层模型、以太网与 InfiniBand 的对比、网络性能指标
核心原理：数据中心网络的“分层”与“融合”逻辑
数据中心网络并非一堆交换机随意互联，而是按照清晰的层次模型组织。理解分层模型，是后续分析 InfiniBand 与 RoCE 差异的基石。目前主流的分层模型有两种视角：TCP/IP 四层模型（应用层、传输层、网络层、链路层）与OSI 七层模型（物理层至应用层）。在数据中心场景中，我们更关注的是物理拓扑分层与协议功能分层的结合。
从物理拓扑看，传统三层架构（核心层-汇聚层-接入层）正在被叶脊（Spine-Leaf）架构取代。叶脊架构将网络扁平化：所有叶交换机（Leaf）直接连接到所有脊交换机（Spine），任意两台服务器之间的跳数固定为 2 跳（经 Leaf→Spine→Leaf）。这种设计极大降低了延迟抖动，并提升了东西向流量的带宽利用率。从协议功能看，无论以太网还是 InfiniBand，都遵循“下层为上层服务”的原则：链路层负责寻址与帧转发，网络层负责路由，传输层负责可靠连接与流量控制。
现代数据中心网络的一个关键趋势是融合：原本分离的计算网络、存储网络（FC，光纤通道）和管理网络，正逐步统一到以太网或 InfiniBand 之上。RoCE（RDMA over Converged Ethernet）正是这种融合的产物——它将以太网作为物理承载，却在传输层实现了类似 InfiniBand 的 RDMA 能力。理解这一点，就能明白为何 RoCE 需要额外的流控机制（如 PFC 优先级流控），而 InfiniBand 原生就具备端到端的无损传输特性。
方法流程：如何评估以太网与 InfiniBand 的适用性
在实际的数据中心建设中，选择 InfiniBand 还是 RoCE 并非简单的技术偏好，而是一个需要系统评估的决策流程。以下是一个经过实践检验的四步评估法：
- 流量特征分析：统计业务中东西向流量占比、报文大小分布、是否以长消息（>2KB）为主。AI 训练中的 AllReduce 操作会产生大量 4KB~8KB 的聚合消息，而 HPC 中的粒子模拟则可能产生大量小报文（<256B）。
- 丢包敏感度测试：在测试环境中人为注入 0.1% 的随机丢包，观察业务完成时间（JCT）的恶化程度。若 JCT 恶化超过 3 倍，则该业务对无损网络有强依赖。
- 运维成熟度评估：InfiniBand 的子网管理器（Subnet Manager）集中管理，配置简单但排障工具相对封闭；RoCE 依托标准以太网生态，可复用现有监控体系（如 sFlow、NetFlow），但需要额外调优 PFC 水位和 ECN 阈值。
- 成本与扩展性核算：对比每端口成本、光模块兼容性、以及未来升级到 800G 时的平滑度。通常 InfiniBand 交换机价格约为同规格以太网交换机的 1.5~2 倍，但 InfiniBand 网卡（HCA）的 CPU 卸载能力更强。
案例/场景：AI 训练集群中的网络选型实战
某大型互联网公司建设一个包含 1024 张 A100 GPU 的 AI 训练集群，用于大语言模型预训练。业务特点是：每 2~4 秒执行一次梯度同步（AllReduce），每次同步数据量约 200MB~1GB。团队最初采用 100Gbps RoCE v2 网络，但在 512 卡规模时发现训练效率仅为理论峰值的 68%。
通过排查，问题定位在PFC 死锁：当多个队列同时触发流控时，交换机 buffer 耗尽导致头部阻塞（HOL Blocking）。随后团队进行了以下优化：
- 将 PFC 队列从 8 个缩减为 3 个，仅对 RDMA 流量开启无损保障；
- 启用 DCQCN（数据中心量化拥塞通知），设置 ECN 标记阈值为 200KB；
- 将 GPU 服务器接入的 Leaf 交换机 buffer 从 12MB 提升至 32MB。
优化后训练效率提升至 82%。作为对比，同规模 InfiniBand NDR 200G 集群的训练效率可达 91%。差距主要来自 InfiniBand 的自适应路由能力——它能在拥塞时动态将流量切换到空闲路径，而 RoCE 依赖静态 ECMP 哈希，容易产生哈希冲突。
网络性能指标：衡量数据中心网络的“标尺”
无论是 InfiniBand 还是 RoCE，评估网络性能都需要一套统一的指标体系。以下是数据中心网络最核心的 6 个性能指标：
| 指标 | 定义 | 典型参考值 | 测量工具 |
|---|---|---|---|
| 带宽（Bandwidth） | 单位时间内传输的数据量 | 100Gbps / 200Gbps / 400Gbps | iperf3 / qperf |
| 时延（Latency） | 数据从发送到接收的耗时 | RoCE：0.5~2μs（节点内） | ib_write_lat / sockperf |
| 吞吐量（Throughput） | 应用层实际有效数据传输速率 | 通常为带宽的 80%~95% | fio + NVMe-oF |
| 丢包率（Packet Loss） | 丢失数据包占总发送包的比例 | 无损网络应 < 1e-12 | ethtool -S / smon |
| P99 时延抖动（Jitter） | 99% 请求的时延波动范围 | 目标 < 10μs 波动 | 自定义探针 |
| 有效带宽（Goodput） | 去除协议开销后的实际数据速率 | RoCE v2 约 94%（40B 头开销） | perftest 套件 |
在实测中，一个常见的误区是仅关注“线速带宽”而忽略有效带宽。例如，100Gbps 的 RoCE v2 链路，当报文大小为 64B 时，由于以太网帧间隙、CRC 和 IP 头开销，实际有效带宽可能仅有 40Gbps。而 InfiniBand 由于采用更高效的报文封装（基址重定位头），在相同小报文场景下有效带宽可达 60Gbps。因此，在评估网络性能时，务必使用与业务报文大小匹配的测试模式。
# 使用 perftest 工具测量 RoCE 延迟（单位：微秒）
ib_write_lat -a -d mlx5_0 -s 16 -n 100000 -t 1
# 输出示例：
# ---------------------------------------------------------------------------
# bytes iterations t_min t_max t_typical
# 16 100000 1.82 3.45 1.95
# 注意：t_typical 应小于 2μs 才算健康
# 检查 PFC 计数（是否有丢包或流控触发）
ethtool -S eth0 | grep -E "tx_pause|rx_pause"
# 若 tx_pause 持续增长，说明下游交换机 buffer 不足，需要调整阈值