3. 数据中心交换性能指标体系

在数据中心网络里,“性能好”从来不是一个单一维度的判断。一台标称 51.2 Tbps 交换容量的交换机,可能在平均吞吐上表现优异,却在微突发场景下大量丢包;也可能时延均值很低,但 P99.9 尾时延高得让分布式存储的超时重试频繁触发。因此,评估一台数据中心交换机,必须建立一套相互关联、彼此制约的指标体系。本节围绕吞吐量、时延、丢包率、抖动、突发吸收、功耗与散热七类核心指标,说明它们的定义、真实业务含义以及彼此之间的权衡关系。

吞吐量:从端口线速到系统有效吞吐

吞吐量指单位时间内成功转发的数据量,通常以 bps 或 pps 表示。需要区分三个层次:端口线速吞吐(单端口能否跑满 400G/800G)、整机交换容量(所有端口双向带宽之和,如 51.2 Tbps)、以及系统有效吞吐(在真实流量模型下,考虑查表、缓存、ACL、遥测等开销后实际转发的比例)。

真实业务中,吞吐量决定的是“能不能扛住峰值”。例如一个 AI 训练集群,参数服务器与计算节点之间是 all-reduce 式的多对多流量,此时单流吞吐并不关键,关键是多端口并发下的聚合吞吐。测试时常用 RFC 2544 的二分搜索法找到零丢包最大速率,但要注意:64 字节小包受限于 pps 处理能力,往往先于大包达到瓶颈。因此吞吐量必须与包长绑定表述,例如“64B 零丢包吞吐 3.2 Tbps,1518B 零丢包吞吐 12.8 Tbps”。

时延与抖动:均值之外的尾部分布

时延是报文从入端口到出端口所经历的时间,包含串行化时延、查表转发时延、排队时延。串行化时延由包长和端口速率决定,例如 64B 包在 400G 端口上约 1.3 ns,而 1518B 包约 30 ns,这部分是物理下限。真正体现交换机能力的是转发时延(cut-through 模式下可低至数百纳秒)和排队时延。

抖动(jitter)是时延的变化程度,通常用同一流内相邻报文时延差的标准差或 P99-P50 差值衡量。对 RoCEv2 这类 RDMA 流量,抖动直接决定拥塞控制是否稳定:时延抖动大,DCQCN 的速率调整就会震荡,进而引发吞吐下降。因此评估时不能只看平均时延,必须看 P50 / P99 / P99.9 分位。一个典型示例:某交换机平均时延 2 μs,但 P99.9 达到 80 μs,说明存在长尾排队,对延迟敏感的存储业务会造成超时重传。

丢包率与突发吸收

丢包率是丢弃报文数与总报文数之比。在无损网络(PFC/ECN)中,丢包率应趋近于零,但代价是可能引入 PFC 风暴和队头阻塞。因此丢包率必须与突发吸收能力一起看。

突发吸收指交换机在瞬时流量超过端口速率时,依靠片上缓存(buffer)吸收突发而不丢包的能力。衡量方式常用突发容忍度:在 100% 线速背景流上叠加一个微突发,逐步增大突发量,记录开始丢包的临界值。例如某 400G 端口在 10 μs 突发下可吸收约 500 KB,若缓存仅 32 MB 且被多端口共享,则单端口可用突发吸收量会显著下降。这里存在经典权衡:缓存越大,突发吸收越强,但排队时延越高;缓存越小,时延越低,但微突发下易丢包。数据中心交换机普遍采用动态阈值(Dynamic Threshold)共享缓存来平衡两者。

功耗与散热:性能的物理边界

功耗通常以整机瓦特或每 Gbps 功耗(W/Gbps)衡量。51.2 Tbps 交换机满载功耗可达 1500~2500 W,其中 SerDes、交换芯片、光模块是三大热源。散热能力决定了交换机能否在持续满载下维持线速——一旦温度触发降频,吞吐和时延都会劣化。因此功耗与散热不是附属指标,而是性能可持续性的约束条件。评估时应关注:风冷/液冷方案、进风温度范围、以及高温下的转发性能保持率。

数据中心交换性能指标体系与权衡关系 交换芯片 51.2 Tbps / 共享缓存 吞吐量 端口线速 / 整机容量 64B pps 瓶颈优先 时延 串行化 + 转发 + 排队 关注 P99 / P99.9 尾时延 丢包率 无损网络趋近于零 PFC / ECN 代价 抖动 时延变化程度 影响 RDMA 拥塞控制 突发吸收 片上缓存 / 动态阈值 微突发容忍度 功耗与散热 W/Gbps / 热设计功耗 高温降频约束性能 核心权衡 缓存↑ → 突发吸收↑ 但排队时延↑ 功耗↑ → 散热压力↑ → 高温降频 → 吞吐↓ 业务映射:AI 训练 → 聚合吞吐 + 尾时延 | 分布式存储 → 抖动 + 丢包 | 虚拟化 → 突发吸收 + 功耗 指标之间相互制约,需按业务场景确定优先级

指标之间的权衡:没有免费的午餐

把七类指标放在一起看,会发现它们构成一个相互制约的系统。最典型的几组权衡如下:

  • 缓存 vs 时延:增大共享缓存能提升突发吸收和吞吐稳定性,但排队时延随之上升。对延迟敏感的 RDMA 业务,宁可牺牲部分突发吸收,也要控制 P99 时延。
  • 无损 vs 吞吐:PFC 可以把丢包率压到零,但 PFC 反压会扩散到上游,造成队头阻塞,反而降低有效吞吐。ECN 标记配合 DCQCN 是更温和的方案,但需要精细调参。
  • 功耗 vs 性能:更高主频、更多 SerDes 通道带来更高吞吐,也带来更高功耗和散热需求。液冷可以缓解,但增加部署复杂度与成本。
  • 吞吐 vs 时延:cut-through 转发时延低,但在拥塞时无法做完整错误检测;store-and-forward 更可靠,但每跳增加一个包长的时延。

面向业务的指标优先级

实际选型与验收时,不应追求所有指标同时最优,而应按业务场景排序。下表给出一个可参考的优先级示例(示例为合理假设,非实测结论):

业务场景 首要指标 次要指标 可放宽指标
AI 训练 / HPC 聚合吞吐、P99 时延 抖动、突发吸收 功耗
分布式存储 抖动、丢包率 P99.9 时延 峰值吞吐
虚拟化 / 云主机 突发吸收、丢包率 吞吐量 尾时延
骨干互联 吞吐量、功耗 时延 抖动
实践提示:验收测试时,建议同时记录“零丢包最大吞吐”和“该吞吐下的 P99 时延”,两者组合才能反映交换机在真实负载下的可用性能。单独报告任何一个数字都容易产生误导。