📚 课程目录第3章性能热点识别方法

3. 性能热点识别方法

RoCE（RDMA over Converged Ethernet）网络的性能问题往往不是均匀分布的，而是集中在某个交换机端口、某条物理链路或某个拥塞域内。要精准定位这些“热点”，首先需要建立一套可量化的监控指标体系，并明确“热点”的定义与分类。本章将围绕吞吐量、时延、丢包率三个核心指标展开，给出热点的判定标准与分类方法。

3.1 三大核心性能监控指标

RoCE网络性能监控不能只关注“带宽是否跑满”，而应同时观察吞吐量、时延和丢包率三个维度。它们分别反映了网络的容量利用、服务质量和可靠性，三者相互关联又彼此独立。

3.1.1 吞吐量（Throughput）

吞吐量指单位时间内成功传输的数据量，通常以 Gbps 或 Mpps 为单位。在 RoCE 场景中，需要区分物理端口吞吐与应用层有效吞吐。物理端口吞吐接近线速（如 100Gbps 端口达到 98Gbps 以上）并不代表健康，因为可能包含大量重传或 PFC 暂停帧开销；而应用层有效吞吐才是用户感知的性能。

监控要点：使用 ethtool -S 或 mlxstat 查看端口级计数，重点关注 rx_bytes、tx_bytes、rx_packets、tx_packets 的速率变化。同时结合 perf 或 ib_write_bw 测试工具获取端到端有效吞吐。

3.1.2 时延（Latency）

时延是 RoCE 性能最敏感的指标，尤其对于存储和 AI 分布式训练场景。需要区分平均时延与尾时延（Tail Latency）。平均时延掩盖了长尾问题——当 99.9% 的报文时延为 20μs，而 0.1% 的报文时延达到 2ms 时，整体平均仍可能表现良好，但上层应用已经出现明显卡顿。

时延的组成包括：

节点处理时延：网卡 DMA、CPU 中断处理、协议栈开销；
交换机转发时延：通常为几百纳秒到几微秒，与队列深度相关；
排队时延：拥塞时在交换机出端口或网卡发送队列中的等待时间，是热点的主要来源；
链路传播时延：光缆长度决定，通常固定且较小。

3.1.3 丢包率（Packet Loss）

RoCEv2 依赖无损网络（PFC 流控）来避免丢包，但实际运行中仍可能发生丢包。丢包率是热点识别的“最后防线”——一旦出现非零丢包，往往意味着 PFC 已无法吸收突发流量，拥塞已严重到必须丢弃报文。丢包会直接触发 RoCE 的 Go-Back-N 重传机制，导致吞吐量断崖式下降。

重要区分：RoCE 场景下，不仅要看总丢包率，还要区分 PFC 暂停帧计数与实际丢包计数。PFC 暂停帧是流控机制的正常响应，但频繁的 PFC 触发说明网络已处于亚健康状态，是热点形成的前兆。

3.2 热点定义与分类

所谓“性能热点”，是指网络中某个或某些对象（端口、链路、队列、流）的资源利用率或等待时间显著高于周边对象，成为系统整体性能瓶颈的位置。热点不是静态属性，而是随流量模型动态变化的。

3.2.1 按对象层级分类

热点类型	典型对象	判定特征	常见原因
端口级热点	交换机下行端口、服务器网卡端口	端口利用率 > 85%，或 PFC 暂停帧计数持续增长	多打一流量汇聚、Hash 不均
队列级热点	交换机出端口队列（如 Q0~Q7）	单队列深度持续 > 50% 缓冲，或队列丢弃计数增加	突发流量、优先级配置不当
链路级热点	光纤链路、DAC 线缆	链路误码率上升、光模块温度过高	光模块劣化、连接器污染
流级热点	RoCE 流（五元组标识）	单流吞吐占端口带宽 60% 以上，或流时延抖动剧烈	应用负载不均、ECMP Hash 冲突

3.2.2 按时延特征分类

从时延表现角度，热点可分为持续型热点与突发型热点。持续型热点表现为端口利用率长期高位、队列深度稳定偏高，通常由流量负载不均或链路带宽不足导致；突发型热点则表现为时延周期性尖峰，间隔从毫秒级到秒级不等，往往与 AI 训练中的 All-to-All 通信、存储备份等周期性流量相关。

3.3 热点识别方法流程

热点识别应遵循“从粗到细、从边缘到核心”的排查路径，避免一开始就陷入细节。推荐采用以下四步流程：

全网扫描：通过 SNMP、Telemetry 或 RDMA 网卡计数器，收集所有交换机端口和服务器网卡的吞吐量、丢包计数、PFC 暂停帧计数，生成热点候选列表；
时延验证：对候选热点端口执行 ping（ICMP 时延）或 ib_read_lat（RoCE 时延）测试，确认是否存在高时延或时延抖动；
队列分析：登录交换机查看端口队列深度（如 show queueing），确认是哪个优先级队列拥塞，并检查是否触发了 PFC；
流级定位：使用 perf query 或 rdma statistic 识别具体 RoCE 流，结合应用拓扑判断是否为预期的“多打一”流量。

# 示例：查看 RoCE 网卡 PFC 与丢包计数（Mellanox 网卡）
ethtool -S enp3s0 | grep -E "rx_pause|tx_pause|rx_dropped|tx_dropped"
# 输出示例：
#     rx_pause: 12580
#     tx_pause: 342
#     rx_dropped: 0
#     tx_dropped: 0
# 若 rx_pause 持续快速增长，说明对端交换机正在反压本端

3.4 案例：AI 训练场景下的热点识别

某分布式 AI 训练集群使用 100G RoCEv2 组网，训练任务出现周期性卡顿，每 30 秒出现一次约 2 秒的吞吐下降。初步监控发现：

所有交换机端口平均利用率仅 40%，无持续拥塞；
但核心交换机上联端口的 rx_pause 计数每 30 秒增加约 2000 次；
服务器端 ib_read_lat 测试显示，P99 时延从正常 15μs 飙升至 800μs。

进一步分析发现，训练任务的梯度同步阶段（All-Reduce）会产生 200ms 内的突发流量，多个 GPU 服务器同时向参数服务器发送数据，形成“多打一”的瞬时拥塞。虽然平均利用率不高，但突发瞬间队列深度超过交换机缓冲阈值，触发 PFC 反压，导致时延尖峰。

结论：该热点属于突发型队列级热点，仅看平均吞吐量无法发现，必须结合 PFC 暂停帧计数和尾时延指标才能定位。优化方案包括：调整 PFC 门限值、将 All-Reduce 流量分散到不同时间片、或使用 DCQCN 显式拥塞通知替代 PFC 反压。

3.5 常见误区与复盘

在热点识别实践中，以下误区容易导致误判或漏判：

误区一：只关注平均吞吐量。平均吞吐量会掩盖瞬时拥塞。正确做法是同时监控 1 秒或 100ms 粒度的峰值吞吐，并关注 PFC 暂停帧计数变化率。

误区二：忽略丢包率为零的“假健康”状态。RoCE 网络通过 PFC 实现无损，丢包率为零不代表网络健康——PFC 暂停帧本身就是拥塞信号。当 rx_pause 帧速率超过每秒数百次时，应视为热点预警。

误区三：将交换机端口利用率作为唯一热点判据。端口利用率高不一定是热点，如果流量分布均匀且时延正常，可能只是高负载运行；反之，端口利用率仅 30% 也可能因 Hash 冲突导致单流拥塞。

复盘建议：每次热点事件处理后，应记录热点类型、触发条件、持续时间、影响范围和处理措施，形成热点特征库。后续出现类似时延抖动时，可快速匹配历史特征，缩短定位时间。同时，建议部署持续监控系统，对 PFC 暂停帧、队列深度、尾时延三个指标设置动态阈值告警，将热点识别从事后排查转变为事前预警。