3. 数据中心交换性能指标体系
在数据中心网络里,“性能好”从来不是一个单一维度的判断。一台标称 51.2 Tbps 交换容量的交换机,可能在平均吞吐上表现优异,却在微突发场景下大量丢包;也可能时延均值很低,但 P99.9 尾时延高得让分布式存储的超时重试频繁触发。因此,评估一台数据中心交换机,必须建立一套相互关联、彼此制约的指标体系。本节围绕吞吐量、时延、丢包率、抖动、突发吸收、功耗与散热七类核心指标,说明它们的定义、真实业务含义以及彼此之间的权衡关系。
吞吐量:从端口线速到系统有效吞吐
吞吐量指单位时间内成功转发的数据量,通常以 bps 或 pps 表示。需要区分三个层次:端口线速吞吐(单端口能否跑满 400G/800G)、整机交换容量(所有端口双向带宽之和,如 51.2 Tbps)、以及系统有效吞吐(在真实流量模型下,考虑查表、缓存、ACL、遥测等开销后实际转发的比例)。
真实业务中,吞吐量决定的是“能不能扛住峰值”。例如一个 AI 训练集群,参数服务器与计算节点之间是 all-reduce 式的多对多流量,此时单流吞吐并不关键,关键是多端口并发下的聚合吞吐。测试时常用 RFC 2544 的二分搜索法找到零丢包最大速率,但要注意:64 字节小包受限于 pps 处理能力,往往先于大包达到瓶颈。因此吞吐量必须与包长绑定表述,例如“64B 零丢包吞吐 3.2 Tbps,1518B 零丢包吞吐 12.8 Tbps”。
时延与抖动:均值之外的尾部分布
时延是报文从入端口到出端口所经历的时间,包含串行化时延、查表转发时延、排队时延。串行化时延由包长和端口速率决定,例如 64B 包在 400G 端口上约 1.3 ns,而 1518B 包约 30 ns,这部分是物理下限。真正体现交换机能力的是转发时延(cut-through 模式下可低至数百纳秒)和排队时延。
抖动(jitter)是时延的变化程度,通常用同一流内相邻报文时延差的标准差或 P99-P50 差值衡量。对 RoCEv2 这类 RDMA 流量,抖动直接决定拥塞控制是否稳定:时延抖动大,DCQCN 的速率调整就会震荡,进而引发吞吐下降。因此评估时不能只看平均时延,必须看 P50 / P99 / P99.9 分位。一个典型示例:某交换机平均时延 2 μs,但 P99.9 达到 80 μs,说明存在长尾排队,对延迟敏感的存储业务会造成超时重传。
丢包率与突发吸收
丢包率是丢弃报文数与总报文数之比。在无损网络(PFC/ECN)中,丢包率应趋近于零,但代价是可能引入 PFC 风暴和队头阻塞。因此丢包率必须与突发吸收能力一起看。
突发吸收指交换机在瞬时流量超过端口速率时,依靠片上缓存(buffer)吸收突发而不丢包的能力。衡量方式常用突发容忍度:在 100% 线速背景流上叠加一个微突发,逐步增大突发量,记录开始丢包的临界值。例如某 400G 端口在 10 μs 突发下可吸收约 500 KB,若缓存仅 32 MB 且被多端口共享,则单端口可用突发吸收量会显著下降。这里存在经典权衡:缓存越大,突发吸收越强,但排队时延越高;缓存越小,时延越低,但微突发下易丢包。数据中心交换机普遍采用动态阈值(Dynamic Threshold)共享缓存来平衡两者。
功耗与散热:性能的物理边界
功耗通常以整机瓦特或每 Gbps 功耗(W/Gbps)衡量。51.2 Tbps 交换机满载功耗可达 1500~2500 W,其中 SerDes、交换芯片、光模块是三大热源。散热能力决定了交换机能否在持续满载下维持线速——一旦温度触发降频,吞吐和时延都会劣化。因此功耗与散热不是附属指标,而是性能可持续性的约束条件。评估时应关注:风冷/液冷方案、进风温度范围、以及高温下的转发性能保持率。
指标之间的权衡:没有免费的午餐
把七类指标放在一起看,会发现它们构成一个相互制约的系统。最典型的几组权衡如下:
- 缓存 vs 时延:增大共享缓存能提升突发吸收和吞吐稳定性,但排队时延随之上升。对延迟敏感的 RDMA 业务,宁可牺牲部分突发吸收,也要控制 P99 时延。
- 无损 vs 吞吐:PFC 可以把丢包率压到零,但 PFC 反压会扩散到上游,造成队头阻塞,反而降低有效吞吐。ECN 标记配合 DCQCN 是更温和的方案,但需要精细调参。
- 功耗 vs 性能:更高主频、更多 SerDes 通道带来更高吞吐,也带来更高功耗和散热需求。液冷可以缓解,但增加部署复杂度与成本。
- 吞吐 vs 时延:cut-through 转发时延低,但在拥塞时无法做完整错误检测;store-and-forward 更可靠,但每跳增加一个包长的时延。
面向业务的指标优先级
实际选型与验收时,不应追求所有指标同时最优,而应按业务场景排序。下表给出一个可参考的优先级示例(示例为合理假设,非实测结论):
| 业务场景 | 首要指标 | 次要指标 | 可放宽指标 |
|---|---|---|---|
| AI 训练 / HPC | 聚合吞吐、P99 时延 | 抖动、突发吸收 | 功耗 |
| 分布式存储 | 抖动、丢包率 | P99.9 时延 | 峰值吞吐 |
| 虚拟化 / 云主机 | 突发吸收、丢包率 | 吞吐量 | 尾时延 |
| 骨干互联 | 吞吐量、功耗 | 时延 | 抖动 |