1. 课程导入与全景认知
在AI大模型训练与高性能计算（HPC）场景中，计算节点之间的通信效率往往决定了整个集群的实际算力利用率。当单卡算力以每代翻倍的速度增长时，网络带宽与延迟若不能同步演进，GPU就会大量时间处于"等数据"状态。NVIDIA高速计算网络正是围绕这一矛盾构建的完整技术栈，涵盖InfiniBand、RoCE、NVLink与Spectrum-X四条主线。理解它们的定位差异与协同关系，是后续故障诊断与可观测性建设的前提。
四条技术主线的定位与边界
InfiniBand是NVIDIA（原Mellanox）主导的专用高速互联协议，采用RDMA语义，从物理层到传输层均为自研体系。典型速率从EDR 100Gb/s、HDR 200Gb/s、NDR 400Gb/s演进到XDR 800Gb/s，端到端时延可低至亚微秒级。它依赖Subnet Manager（SM）集中管理子网，支持自适应路由与拥塞控制，是当前大规模AI训练集群的主流选择。
RoCE（RDMA over Converged Ethernet）将RDMA语义承载在以太网之上，分为RoCEv1（基于以太网链路层）与RoCEv2（基于UDP/IP，可路由）。RoCEv2的优势是复用成熟以太网生态、成本较低，但要求无损网络配置——PFC（Priority Flow Control）与ECN（Explicit Congestion Notification）必须正确协同，否则会出现PFC风暴或吞吐塌陷。这也是RoCE故障诊断中最常见的难点。
NVLink是GPU之间的高带宽直连总线，不经过网卡与交换机。以Hopper架构为例，单GPU提供18条NVLink 4.0链路，双向带宽达900GB/s；Blackwell进一步引入NVLink 5.0与NVLink Switch，使多GPU可组成更大的统一内存域。NVLink解决的是节点内GPU通信，与节点间的InfiniBand/RoCE形成互补。
Spectrum-X是NVIDIA面向以太网AI集群的端到端方案，将Spectrum-4交换机、BlueField-3 DPU与NVIDIA网络软件栈整合，通过RoCE自适应路由与动态拥塞控制，在标准以太网上实现接近InfiniBand的性能。它代表了NVIDIA"以太网也能做AI网络"的工程路线。
典型拓扑与演进逻辑
小规模集群常采用单层Leaf-Spine或胖树（Fat-Tree）结构，Leaf交换机下挂计算节点，Spine提供跨Leaf的横向带宽。当规模扩展到数千GPU时，胖树需要多级Spine甚至Clos网络，此时链路冗余与路由收敛成为关键。InfiniBand通过SM计算路由表并支持自适应路由，在链路故障时可快速切换；RoCEv2则依赖ECMP哈希，若哈希不均会导致部分链路拥塞，表现为个别GPU训练速度明显偏慢。
NVLink的演进方向是扩大单节点GPU域：从DGX A100的8卡全互联，到DGX H100通过NVSwitch实现8卡900GB/s全互联，再到GB200 NVL72将72颗GPU纳入同一NVLink域。这意味着节点内与节点间的边界正在模糊，故障定位也需要跨越NVLink、PCIe、网卡与交换机多个层级。
故障诊断的核心挑战
高速计算网络的故障往往不是"断链"这种显性事件，而是性能的渐进劣化。常见挑战包括：
- PFC风暴与死锁：RoCE网络中某条链路拥塞触发PFC暂停帧，暂停帧逐跳传播形成反压环路，导致大面积吞吐下降甚至死锁。现象是训练任务集体变慢，但单看某台交换机端口却无明显丢包。
- ECN标记与拥塞窗口失配：ECN阈值设置过低会导致大量报文被标记，发送端降速过于激进；设置过高则拥塞无法及时缓解。需要结合交换机队列深度与DCQCN参数联合分析。
- NVLink降速与错误计数：NVLink链路可能因信号完整性下降而重训练到较低速率，或出现可纠正错误累积。这类问题在应用层表现为AllReduce耗时波动，需通过NVLink错误计数器定位。
- SM路由与拓扑不一致：InfiniBand中SM若未及时感知链路变化，路由表可能指向失效路径，导致部分流量黑洞。需要监控SM日志与子网拓扑事件。
- 多租户与QoS干扰：共享集群中不同任务的流量优先级配置不当，会互相抢占带宽，表现为"单独跑很快、一起跑就慢"。
可观测性工程的目标与边界
可观测性工程的目标不是简单地"采集更多指标"，而是建立从物理层到应用层的因果链路，使故障可定位、可复现、可预防。其边界应明确：
- 覆盖范围：GPU/NVLink、PCIe、网卡（HCA/DPU）、交换机、SM/控制器、应用通信库（NCCL）六个层级。
- 数据来源：端口计数器、PFC/ECN统计、NVLink错误寄存器、SM日志、NCCL调试日志、Telemetry流式数据。
- 时间精度：性能劣化往往在毫秒级发生，采集周期需与业务SLA匹配，关键计数器建议秒级或亚秒级。
- 不做什么：可观测性不替代硬件维修与配置变更，它提供的是判断依据；也不应无差别全量采集，避免监控流量本身干扰业务网络。