InfiniBand基础：架构、协议栈与关键术语

InfiniBand（IB）并非简单的“高速网卡+交换机”，而是一套完整的通道式I/O架构。理解它的第一步，是跳出以太网“共享总线+IP路由”的思维定式，转而建立“端到端通道+硬件寻址+内核旁路”的模型。本节将拆解IB的物理拓扑、协议分层，并厘清子网管理器（SM）、LID、GID、QP、WR等核心术语，为后续的链路稳定性排查打下概念基础。

2.1 架构总览：从物理拓扑到协议栈

IB网络在物理上由节点（Channel Adapter）、交换机（Switch）、路由器（Router）和链路（Link）构成。每个节点至少包含一个主机通道适配器（HCA）或目标通道适配器（TCA），它们通过端口（Port）接入IB子网。与以太网不同，IB采用集中式管理：每个子网内必须有一个子网管理器（Subnet Manager, SM），负责拓扑发现、路径计算和地址分配。

IB协议栈自下而上分为物理层、链路层、网络层、传输层，上层承载上层协议（如IPoIB、SDP、SRP）。其核心设计是消息与内存语义分离：发送方只需描述“数据在哪、发到哪个QP”，接收方提前注册内存区域，硬件DMA引擎直接完成数据搬运，无需CPU逐包中断。

2.2 核心原理：为什么IB能实现低延迟高带宽

IB的性能优势源于三个关键设计：

• 内核旁路（Kernel Bypass）：用户态程序直接通过verbs API操作HCA硬件，绕过操作系统网络协议栈，省去系统调用和上下文切换开销。
• RDMA（远程直接内存访问）：网卡硬件直接从应用内存读写数据，接收方无需CPU参与数据拷贝，实现“零拷贝”传输。
• 基于信用（Credit）的流控：链路层采用端到端信用机制，接收方预先通告可用缓冲区，发送方严格按信用发送，从根本上避免丢包。

在IB中，通信的最小单元是QP（Queue Pair）。每个QP由发送队列（SQ）和接收队列（RQ）组成。应用通过提交WR（Work Request）描述一次操作，硬件将其转化为WQE（Work Queue Element）执行。完成后的状态通过CQ（Completion Queue）异步通知应用。这种“提交-完成”模型使得多个通信操作可以流水线执行，极大提升吞吐。

2.3 关键术语速查表

2.4 实操场景：用命令验证IB基础状态

在真实环境中，我们首先需要确认IB链路和子网管理器是否正常工作。以下命令在Linux环境中常用：

# 查看IB设备与端口状态
ibstat

# 查看子网管理器是否在线（应看到SM状态为Master）
ibstat | grep -A 5 "Port 1"

# 查看本地LID与GID
ibaddr

# 查看所有IB节点（需安装 infiniband-diags）
ibnetdiscover

# 测试两个节点间的IB连通性（使用RDMA CM）
rping -s -a 192.168.1.1 -p 12345   # 服务端
rping -c -a 192.168.1.1 -p 12345   # 客户端

典型输出示例：

CA 'mlx5_0'
    CA type: MT4123
    Number of ports: 1
    Firmware version: 20.29.1002
    Hardware version: 0
    Node GUID: 0x248a070300aabbcc
    System image GUID: 0x248a070300aabbcc
    Port 1:
        State: Active
        Physical state: LinkUp
        Rate: 100 (Gb/s)
        Base lid: 0x2
        LMC: 0
        SM lid: 0x1
        SM sl: 0
        SM state: Master   <-- 关键：SM必须为Master

2.5 常见误区与复盘

误区一：把LID当作IP地址使用。LID只在子网内有效，且可能随SM重启而重新分配。跨子网通信必须依赖GID。在配置静态路由或防火墙规则时，应使用GID而非LID。

误区二：忽略QP状态机。很多“链路不通”问题，实际是QP状态卡在INIT或RTR。例如，接收端未调用ibv_modify_qp将QP迁移到RTR状态，发送端即使物理链路正常，也会持续超时重试。

误区三：认为IB不丢包就无需监控。虽然IB的信用流控避免了拥塞丢包，但链路误码（Bit Error）仍会导致重传。应通过ibstat监控LinkErrorRecovery和SymbolErrorCounter，这些指标反映物理层信号质量。