4. 网络性能关键指标与SLA
容量规划最终要落到可测量的性能指标上。带宽、吞吐量、时延、抖动、丢包率和可用性这六个指标,构成了数据中心网络SLA的语言基础。理解它们的定义边界和测量方法,是把业务需求翻译成网络阈值的前提。
六个指标的定义与测量边界
带宽是链路的理论最大传输能力,单位bps,由物理介质和接口速率决定,例如100Gbps以太网端口。它是容量上限,不代表实际能跑满。吞吐量是单位时间内实际成功传输的有效数据量,通常用iperf3或生产流量采样测量。两者关系是:吞吐量 ≤ 带宽 × 协议效率,TCP在长肥管道中受窗口和丢包限制,实测吞吐量常只有带宽的60%~90%。
时延是报文从源到目的的单向或往返时间。数据中心内通常关注三类:链路传播时延(约5ns/m光纤)、设备转发时延(交换机约1~5μs,取决于芯片和队列深度)、排队时延(随负载非线性增长)。测量方法有ICMP ping(RTT)、TWAMP(双向主动测量)、以及基于INT(In-band Network Telemetry)的逐跳时延采集。注意ping测的是RTT,单向时延需时钟同步,误差可能达毫秒级。
抖动是时延的变化量,定义为相邻报文时延差的标准差或峰峰值。对实时音视频和RDMA影响显著。测量时需在同一流内连续采样,用 jitter = sqrt(mean((D_i - D_avg)^2)) 计算。丢包率是丢失报文占总发送报文的比例,分链路误码丢包和拥塞丢包。测量可用交换机端口计数器(CRC错误、discard)或端到端探针。拥塞丢包在微突发下瞬时可达0.1%以上,而平均采样可能漏掉。
可用性是系统在规定时间内可服务的时间比例,常用“几个9”表达:99.9%对应年停机8.76小时,99.99%对应52.6分钟,99.999%对应5.26分钟。测量基于故障工单和监控告警的MTBF/MTTR计算,需明确统计口径——是单链路、单设备还是端到端路径。
不同业务的SLA差异
存储业务(如分布式块存储、NFS)以带宽和吞吐量为核心。典型SLA:单流吞吐量不低于链路带宽的70%,时延P99小于5ms,丢包率低于0.01%。存储流量通常是大块顺序读写,对抖动不敏感,但丢包会触发TCP重传,直接拉低有效吞吐量。
计算业务(如HPC、分布式数据库)对时延和抖动更敏感。典型SLA:节点间RTT P99小于100μs,抖动小于20μs,可用性99.99%。这类业务常用RDMA或RoCEv2,对丢包几乎零容忍——一个丢包可能导致整个MPI集合通信超时重试。
AI训练业务是三者中最苛刻的。以GPU集群AllReduce为例,参数同步要求网络提供微秒级时延、接近零丢包、高吞吐和低抖动。典型SLA:时延P99小于10μs,丢包率低于1e-6,抖动小于5μs,可用性99.999%。任何微突发导致的拥塞丢包都会让训练任务回退到软件重传,吞吐量骤降。
把SLA转化为网络性能阈值
转化过程分三步。第一步,明确业务SLA的统计口径:是P50、P95还是P99?是单流还是聚合?是端到端还是逐跳?口径不同,阈值差异可达数倍。第二步,将业务指标分解到网络层。例如AI训练要求AllReduce在100ms内完成,参与节点128个,每轮通信量1GB,则网络需提供至少 1GB × 2 × 128 / 0.1s ≈ 2.56Tbps 的聚合带宽,且单流时延不超过10μs。第三步,留出余量。通常按SLA阈值的70%~80%设定告警门限,按50%~60%设定扩容触发点。
示例:某AI训练集群SLA要求“AllReduce 1GB数据在200ms内完成,丢包率低于1e-6”。假设128节点,每节点需发送和接收各1GB,聚合带宽需求为 128 × 1GB × 2 / 0.2s = 1.28Tbps。若采用100Gbps网卡,每节点需至少2条链路做bonding,且交换机需支持PFC和ECN以避免拥塞丢包。告警门限设为:单流时延P99 > 8μs,或端口discard速率 > 0.001%,或ECN标记比例 > 5%。
测量方法的选择与陷阱
带宽和吞吐量测量首选iperf3,注意用 -P 多流模拟真实负载,用 -t 60 跑足够长时间避开TCP慢启动。时延测量中,ping的RTT包含往返路径,若需单向时延,应使用TWAMP或PTP同步后的INT。抖动测量必须基于同一五元组的连续报文,跨流计算没有意义。丢包率测量要区分“端口计数器丢包”和“端到端丢包”,前者反映设备内部拥塞,后者反映路径整体质量。可用性统计要明确“计划内维护”是否计入停机时间,否则99.99%和99.9%的差距可能只是口径不同。
常见陷阱:用平均丢包率评估AI训练网络。微突发下瞬时丢包率可达0.1%,但1分钟平均值可能只有0.001%,监控平台若只存平均值,会漏掉导致训练中断的根因。建议对AI训练网络采集1秒粒度的丢包率,并保留P99.9分位值。
从指标到容量决策
六个指标不是孤立的。带宽决定上限,吞吐量反映实际效率,时延和抖动决定业务体验,丢包率是拥塞和误码的指示器,可用性则是长期可靠性的总结。容量规划时,先按业务SLA确定各指标的阈值,再用测量数据判断当前网络是否达标,最后根据余量决定是否扩容或调整调度策略。例如,若存储业务吞吐量达标但时延P99超标,问题可能在交换机队列深度或TCP窗口,而非带宽不足;若AI训练丢包率超标但带宽余量充足,则应检查PFC/ECN配置和微突发缓冲。
把SLA翻译成阈值时,建议形成一张“业务—指标—阈值—测量点—告警动作”的对照表,作为容量规划的输入。这张表不需要复杂,但必须明确每个阈值的统计口径和采样周期,否则后续的扩容判断会失去依据。