IB交换机基础：InfiniBand架构、子网管理器(SM)、交换机端口与链路类型
核心原理：InfiniBand的层次化架构
InfiniBand（IB）是一种面向高性能计算（HPC）和人工智能（AI）集群的高速互联技术，其设计目标是在低延迟、高带宽和高可靠性之间取得平衡。与以太网采用“尽力而为”的转发模型不同，IB网络采用基于信用的流控机制和集中式子网管理，从架构层面保证了无损传输。理解IB架构，需要从物理层、链路层、网络层和传输层四个维度展开。
- 物理层：定义电气特性、连接器类型（如QSFP、OSFP）以及信号速率。当前主流为HDR（200Gb/s）、NDR（400Gb/s）和XDR（800Gb/s）。
- 链路层：负责数据包封装、流控和错误检测。IB链路采用8B/10B或64B/66B编码，并通过链路层数据包（LTP）实现可靠传输。
- 网络层：IB使用全局路由头（GRH）进行跨子网寻址，类似于IP地址；而子网内部则依赖本地标识符（LID）进行转发。
- 传输层：提供可靠连接（RC）、不可靠连接（UC）、可靠数据报（RD）和不可靠数据报（UD）四种服务类型，其中RC是HPC应用最常用的模式。
IB网络的最小管理单元是子网。一个子网内可以包含多个交换机、HCA（主机通道适配器）和路由器端口。子网内的所有设备由唯一的子网管理器（SM）统一管控，这种集中式管理模型是IB与以太网最本质的区别之一。
架构要点：IB交换机本身不具备智能转发决策能力，所有路由表、转发表和路径计算均由SM完成。交换机仅负责执行SM下发的指令，因此SM的配置正确性直接决定整个网络的连通性。
子网管理器(SM)：IB网络的控制中枢
子网管理器是IB网络中最关键的软件实体，它运行在指定的计算节点或交换机控制模块上。SM负责发现网络拓扑、分配LID、计算路由路径并下发转发表。在大型集群中，通常配置主SM和备份SM，通过Active/Standby模式保证高可用性。SM的配置错误是IB网络故障的头号原因，例如LID分配冲突、路径计算未覆盖所有端口、或SM优先级设置不当导致主备切换异常。
SM的核心功能包括：
- 拓扑发现：通过发送子网管理包（SMP）探测所有交换机、HCA和路由器端口，构建完整的网络拓扑图。
- LID分配：为每个端口分配唯一的16位本地标识符（LID），范围从0x0001到0xBFFF，其中0xC000以上保留用于多播。
- 路径计算：基于最短路径算法（如Dijkstra）计算任意两个端口之间的最优路径，并生成线性转发表（LFT）。
- 故障响应：当链路或交换机发生故障时，SM重新计算受影响区域的路径，实现快速重路由。
在配置SM时，需要重点关注sm_priority参数（值越大优先级越高）和sm_state状态（STANDALONE、DISCOVERING、MASTER等）。如果主SM的优先级未正确设置，可能导致多个SM同时处于MASTER状态，引发LID分配冲突。
实操建议：使用 ibstat 命令查看SM状态，确认当前活跃的SM节点。若发现两个SM均为MASTER，应立即检查 /etc/opensm/opensm.conf 中的 priority 字段。
交换机端口与链路类型：从物理连接到逻辑配置
IB交换机的端口类型直接影响链路建立和故障排查方向。根据端口所连接的设备角色，IB端口可分为三种类型：
| 端口类型 | 连接对象 | 典型速率 | 配置要点 |
|---|---|---|---|
| 下行端口 (Downlink) | HCA或服务器网卡 | HDR100 / HDR200 | 需启用自适应速率，避免速率不匹配 |
| 上行端口 (Uplink) | 核心交换机或导向器 | NDR400 / XDR800 | 通常配置为聚合链路（LAG） |
| 管理端口 | SM或带外管理网络 | 1GbE / 10GbE | 独立于IB数据平面，用于设备管理 |
链路类型方面，IB支持静态速率链路和自适应速率链路。静态速率要求两端端口速率完全一致，否则链路无法激活；自适应速率则允许两端协商到较低速率。在配置错误排查中，链路状态（LinkUp/Down）和活动速率（ActiveSpeed）是最常用的诊断指标。
此外，IB链路还分为直连链路（Direct Attach）和光学链路（Optical）。直连铜缆（DAC）成本低、功耗小，但传输距离通常不超过5米；有源光缆（AOC）和可插拔光模块则适用于跨机柜或跨机房的长距离连接。链路类型不匹配（例如将DAC插入要求光模块的端口）会导致端口无法识别。
案例场景：SM配置错误导致部分端口无法通信
某HPC集群部署了36台计算节点和2台IB交换机（型号为NVIDIA Quantum QM8790），拓扑为两层Fat-Tree结构。故障现象为：计算节点1~18可以正常通信，但节点19~36无法与其他节点建立RC连接。使用 ibdiagnet 检查后发现，节点19~36所连接的交换机2端口未被SM纳入转发表。
# 检查SM日志
grep "port" /var/log/opensm.log | tail -20
# 发现错误：Port 20 on switch 2 (LID 3) not in forwarding table
# 原因：SM在路径计算阶段跳过了该端口，因为该端口被标记为“禁用”状态进一步排查发现，交换机2的端口20在物理上连接正常（LinkUp），但SM将其视为Disabled。原因是运维人员此前在交换机配置中误将该端口的管理状态设为down，而SM在拓扑发现时读取了该状态并跳过了路径计算。修复方法如下：
- 登录交换机CLI，将端口20的管理状态恢复为
up。 - 重启SM服务或执行
sm_reset强制重新发现拓扑。 - 使用
ibroute验证LID路由表是否已包含该端口。
误区提醒：不要仅依赖物理链路状态（LinkUp）判断端口可用性。SM的转发数据库可能因管理状态、分区键（PKey）配置或SM缓存过期而遗漏端口。务必同时检查 ibswitches 和 ibqueryerrors 的输出。
常见误区与复盘要点
在IB网络运维中，以下误区容易导致配置错误被掩盖或误判：
- 误区一：认为所有端口速率必须一致。实际上，IB支持自适应速率协商，但若交换机端口配置为固定速率（如强制HDR），而HCA仅支持HDR100，链路将无法建立。应使用
ibportstate检查端口协商速率。 - 误区二：忽略分区键（PKey）配置。即使SM路径计算正确，若两个端口的PKey不匹配，数据包仍会被丢弃。PKey类似于以太网VLAN，但配置错误时不会产生显式告警，只会表现为通信超时。
- 误区三：将SM日志中的警告当作正常信息。例如日志中出现
path record not found时，说明SM未能为某对端口计算路径，这通常是路由表不完整或拓扑变化未刷新的信号。
复盘建议：每次变更后，使用 ibdiagnet -c 生成一致性检查报告，并对比变更前后的LFT（线性转发表）差异。同时，在SM配置文件中启用 log_file 和 log_level 参数，确保关键事件有迹可循。