IB网络核心概念：子网管理器、LID、GID、分区、QP等
核心原理：IB网络如何“寻址”与“通信”
InfiniBand（IB）网络与以太网在寻址和通信机制上有本质差异。以太网依赖MAC地址和IP地址，而IB网络使用一套独立的地址体系与通信协议。理解这套体系，是进行交换机选型和集群配置的前提。
IB网络中最核心的五个概念是：子网管理器（Subnet Manager, SM）、LID（Local Identifier）、GID（Global Identifier）、分区（Partition）和QP（Queue Pair）。它们分别承担着网络管理、本地寻址、全局寻址、安全隔离和通信端点定义的角色。
IB子网由交换机、HCA（Host Channel Adapter，主机通道适配器）和链路组成。每个子网内必须有一个活跃的SM，它负责发现网络拓扑、分配LID、配置路由表以及管理分区成员关系。SM通常运行在子网中的某个交换机或专用管理节点上。
关键理解：IB网络是集中式管理的——所有节点必须通过SM的“许可”才能通信。这与以太网的分布式即插即用模型完全不同。没有SM，IB网络中的节点甚至无法获得有效的LID，也就无法进行任何数据交换。
当HCA端口初始化时，它会向SM发送请求，SM为其分配一个16位的LID（本地标识符）。LID仅在子网内部有效，用于子网内的数据包转发。而GID则是128位的全局标识符，由子网前缀（64位）和端口GUID（64位）拼接而成，用于跨子网通信或RoCE（RDMA over Converged Ethernet）场景。
QP是IB通信的端点抽象。每个HCA可以创建多个QP，每个QP由QP号（QPN）唯一标识。通信双方通过QP建立连接，数据在QP之间以消息形式传输。QP分为可靠连接（RC）、不可靠连接（UC）、可靠数据报（RD）和不可靠数据报（UD）四种类型，其中RC和UD最为常用。
方法流程：从SM启动到QP建立通信
在实际集群中，IB网络的初始化与通信建立遵循一套固定流程。理解这个流程有助于排查“节点间ping不通”或“RDMA通信失败”等问题。
- SM启动与拓扑发现：SM首先扫描子网中的所有交换机、HCA和链路，构建完整的拓扑图。此阶段会为每个端口分配一个唯一的LID。
- 路径计算与转发表下发：SM根据拓扑计算从每个源到每个目的的最优路径，并将转发表下发到各交换机。交换机据此进行数据包转发。
- 分区成员资格验证：SM检查每个端口的P_Key（分区键）值。只有拥有相同P_Key的端口才能互相通信。P_Key是一个16位的值，其中最高位表示“成员资格有效”标志。
- HCA初始化与QP创建：HCA驱动获取LID和GID后，应用程序通过verbs API（如ibv_create_qp）创建QP。每个QP关联一个P_Key，用于通信时的分区校验。
- 地址解析与连接建立：对于RC类型QP，通信双方需要交换QP号、LID和GID信息。这通常通过CM（Connection Manager）或用户自定义的带外通道完成。交换完成后，双方即可通过WQE（Work Queue Element）提交发送/接收请求。
实操提示：使用 ibstat 命令可以查看本机HCA的LID、GID、端口状态和活跃SM信息。使用 ibping 可以测试两个节点间的IB连通性。若 ibping 失败，优先检查SM是否运行、LID是否分配以及分区配置是否正确。
案例/场景：GPU集群中的典型配置
假设一个包含8台GPU服务器的集群，每台服务器配有一块双端口HCA（如ConnectX-6），通过两台IB交换机（如QM8790）实现冗余连接。以下是关键配置参数示例：
| 参数 | 配置值 | 说明 |
|---|---|---|
| 子网前缀 | 0xfe80000000000000 | 默认本地子网前缀 |
| LID范围 | 0x0001 ~ 0x0010 | SM为8台服务器×2端口分配 |
| P_Key | 0xFFFF（默认）或 0x8001 | 所有GPU节点在同一分区 |
| QP类型 | RC（可靠连接） | 用于GPU Direct RDMA通信 |
| MTU | 4096字节（4K） | 提升大消息传输效率 |
在配置文件中，通常需要显式指定P_Key。例如，在Mellanox的 mlx4_core 或 mlx5_core 驱动参数中，可以通过以下方式设置分区：
# 在 /etc/modprobe.d/mlx5.conf 中
options mlx5_core num_vfs=0
# 使用 ibv_devinfo 查看当前端口状态
ibv_devinfo -v | grep -E "port_lid|active_speed|state"当所有节点处于同一P_Key分区时，任意两个GPU节点之间都可以建立RC连接，实现RDMA读写。若需要隔离不同租户的流量，可以为不同租户分配不同的P_Key值（如0x8001和0x8002），从而在物理网络上实现逻辑隔离。
误区/复盘：常见配置错误与排查思路
常见误区一：忽略SM的冗余配置。在大型集群中，如果只运行一个SM实例，一旦该节点宕机，整个IB子网将陷入瘫痪（所有节点LID失效）。生产环境必须配置主备SM（如使用 opensm 的 -B 选项启用备用模式）。
误区二：混淆LID与GID的使用场景。LID只在子网内部有效，跨子网通信必须使用GID。在配置RoCE（RDMA over Converged Ethernet）时，GID由IP地址派生，此时LID不再适用。若在RoCE环境中错误地使用LID进行寻址，将导致通信失败。
误区三：P_Key配置不一致。通信双方的P_Key必须完全匹配（包括有效位）。例如，一方配置0xFFFF，另一方配置0x7FFF（最高位为0），则双方无法通信。这是因为最高位为0表示该P_Key无效，SM会拒绝此类端口的通信请求。
误区四：QP数量规划不足。每个QP会占用HCA的内存资源。在GPU集群中，若每个进程创建多个QP，可能导致HCA资源耗尽。建议使用 ibv_devinfo 查看 max_qp 限制，并合理规划QP数量。
复盘一次典型故障：某集群中节点A能ping通节点B，但RDMA写操作超时。排查步骤为：首先用 ibstat 确认双方LID正常；其次用 ibping 测试连通性；再用 ibv_rc_pingpong 测试RC连接；最后检查P_Key是否一致。最终发现节点B的HCA固件版本过旧，导致QP握手失败。升级固件后问题解决。