3. InfiniBand网络架构：子网管理器、交换机、HCA、链路层

3.1 核心原理：InfiniBand的分层体系与关键组件

InfiniBand（IB）并非简单的“高速网卡+交换机”组合，而是一套完整的通道式（Channel I/O）网络架构。理解其分层模型是定位丢包问题的前提。IB网络自上而下分为应用层、传输层、网络层、链路层、物理层，其中与丢包定位最直接相关的是链路层（Link Layer）和网络层（Network Layer）。IB网络层使用全局路由头（GRH），基于64位全局ID（GID）寻址；而链路层则使用16位本地ID（LID）进行子网内转发。

IB网络由三类核心节点构成：

• HCA（Host Channel Adapter）：即主机通道适配器，相当于以太网中的NIC，但内部集成DMA引擎、QP（Queue Pair）上下文、CQ（Completion Queue）等硬件状态机。HCA是丢包计数、重传统计的第一现场。
• IB交换机（Switch）：负责根据LID转发数据包，内部包含VL（Virtual Lane，虚拟通道）仲裁、流控（Link-level Flow Control）和拥塞通知（FECN/BECN）机制。交换机端口是丢包发生的高频位置。
• 子网管理器（SM，Subnet Manager）：运行在专用节点或主机的软件（如OpenSM），负责LID分配、路由计算、路径表下发、链路状态监控。SM的配置错误（如LID冲突、路由不对称）是导致丢包的隐性根因。

3.2 方法流程：从HCA到交换机的丢包排查路径

当RDMA通信出现丢包时，不能直接归咎于“网络不稳定”。按照IB架构的层次关系，应遵循以下排查流程：

1. 检查HCA侧计数器：使用 ibstat 或 perftest 查看 port_xmit_discards、port_rcv_errors、local_link_integrity_errors 等计数器。若HCA侧出现 port_xmit_discards，说明发送端因信用不足而主动丢弃，这是链路层流控失效的信号。
2. 检查交换机端口计数器：登录交换机（如Mellanox Quantum），执行 show counters port 1/1，关注 rx_crc_errors、rx_link_dropped、tx_discards。若 rx_crc_errors 增长，则存在物理层误码，需检查光模块、线缆或信号完整性。
3. 核查SM路由配置：使用 ibnetdiscover 查看子网拓扑，确认是否存在LID冲突或非对称路由。非对称路由会导致数据包往返路径不一致，引发乱序和重传。
4. 分析VL仲裁与拥塞：若交换机端口出现 tx_wait 或 congestion_discards，则需检查VL仲裁权重设置，并考虑启用自适应路由（AR）或拥塞控制（CC）。

3.3 案例/场景：LID冲突导致的间歇性丢包

场景描述：某数据中心部署了32节点IB集群，运行分布式训练任务。业务反馈训练过程中出现周期性断连，ibstat 显示HCA端口状态正常，但 ibping 延迟抖动剧烈，且伴随大量重传。

排查过程：

• 第一步：在HCA上执行 ibstat，发现 port_xmit_discards 在故障时段从0跳增至数千，但 port_rcv_errors 为0。
• 第二步：登录交换机查看端口计数器，发现 rx_link_dropped 在多个端口同时增长，且增长规律与业务流量峰值吻合。
• 第三步：执行 ibnetdiscover 发现拓扑中出现了两个节点拥有相同LID（LID 0x0015）。原因是新接入的节点在启动时，SM尚未完成LID重新分配，旧节点仍占用该LID，导致交换机转发表混乱。
• 第四步：重启SM并强制重新分配LID，问题解决。

3.4 误区/复盘：对“无损网络”的过度信任

许多工程师认为IB是“无损网络”，因此丢包一定是硬件故障。实际上，IB的无损特性依赖于端到端的信用流控和SM的正确配置。以下场景仍会导致丢包：

复盘结论：IB丢包定位必须同时关注数据面（HCA/交换机计数器）和管理面（SM配置）。在排查初期，应使用 ibdiagnet 进行全子网健康检查，一次性获取所有节点的LID、端口状态、链路速率和错误计数，避免逐台登录的低效操作。