InfiniBand基础架构：IB网络拓扑、节点结构、HCA与端口、子网管理器与LID路由
核心原理：从“总线”到“交换式网络”的架构跃迁
InfiniBand（IB）并非传统意义上的总线型互连（如PCIe总线），而是一个交换式、点对点的串行网络。其设计目标是在服务器、存储和网络设备之间提供高带宽、低时延、可扩展的互连通道。理解IB架构，首先需要建立三个基本认知：网络由节点构成，节点通过端口接入，端口由子网管理器分配地址并决定路由。
IB网络的最小组成单元是子网（Subnet）。一个子网内包含若干节点（如服务器、交换机、存储控制器），节点之间通过链路（Link）连接。所有IB链路均为双向串行链路，每条链路可配置为1X、4X或12X宽度，对应不同带宽。IB的物理层采用自时钟编码（8B/10B或64B/66B），保证数据在高速传输时的同步可靠性。
关键术语速览：
- 节点（Node）：任何具备IB端口并参与通信的设备，如服务器、交换机、路由器。
- 端口（Port）：节点接入IB网络的物理接口，每个端口有唯一的LID（Local Identifier）。
- 子网管理器（SM，Subnet Manager）：负责子网初始化、LID分配、路由计算和故障恢复的软件实体。
- LID：子网内用于数据包转发寻址的16位地址，由SM动态分配。
节点结构与HCA/端口详解
IB网络中的节点根据功能可分为两类：端节点（End Node）和交换节点（Switch）。端节点是通信的发起者或接收者，典型代表是服务器和存储设备；交换节点仅负责数据转发，不产生或消费数据。每个端节点内部至少包含一个通道适配器（Channel Adapter），其中服务器端称为HCA（Host Channel Adapter），存储/专用设备端称为TCA（Target Channel Adapter）。
HCA是服务器CPU与IB网络之间的桥梁，其内部结构可划分为以下层次：
- 端口物理层：负责串行/并行转换、时钟恢复、链路训练，每个端口对应一个物理连接器。
- 链路层：处理数据包封装/解封装、流控（基于信用值）、错误检测（CRC）。
- 网络层：解析LRH（Local Route Header）中的LID信息，完成子网内寻址。
- 传输层：实现QP（Queue Pair）管理、报文分段/重组、可靠性机制（如RC服务中的ACK/NACK）。
- 软件接口层：通过动词接口（Verbs）向操作系统提供API，如ibv_post_send()。
端口与LID的对应关系：一个HCA可以包含1~2个端口（部分高端HCA支持4端口）。每个端口在子网中拥有独立的LID，这意味着双端口HCA的服务器在IB网络中被视为两个独立的“逻辑节点”。SM会为每个端口分配一个唯一的16位LID（范围0x0001~0xBFFF），而LID 0xFFFF保留用于广播。
子网管理器与LID路由机制
子网管理器（SM）是IB子网的大脑，通常运行在某个特权节点上（如专用管理交换机或指定的服务器）。SM的工作流程可归纳为以下四个阶段：
- 拓扑发现：SM通过发送管理数据包（Subnet Management Packet, SMP）遍历所有节点和交换机，构建完整的拓扑图。
- LID分配：根据发现的端口数量，SM为每个端口分配唯一的LID，并通告给对应节点。
- 路由计算：SM基于拓扑信息计算任意两个LID之间的最优路径，生成交换机的线性转发表（Linear Forwarding Table）。
- 故障重配置：当链路或节点失效时，SM重新执行上述过程，更新转发表并通告全网。
LID路由的工作机制如下：当端节点A要向端节点B发送数据时，发送端在数据包的LRH（Local Route Header）中填入目的LID（DLID）。交换机收到数据包后，提取DLID并查询自己的转发表，确定应从哪个端口转发。整个过程在硬件层面完成，时延极低（通常小于100ns）。
| 组件 | 作用 | 关键参数/特性 |
|---|---|---|
| HCA端口 | 物理接入IB网络 | 速率：SDR/EDR/HDR；宽度：1X/4X/12X |
| LID | 子网内二层寻址 | 16位；0x0001~0xBFFF；由SM分配 |
| SM | 子网管理与路由计算 | 支持主备切换；使用SMP通信 |
| 转发表 | 交换机转发依据 | 每个交换机一张；由SM下发 |
典型组网场景：两层CLOS拓扑
在实际数据中心部署中，IB网络常采用两层或三层CLOS（无阻塞）拓扑。以最常见的两层架构为例：
- 叶子层（Leaf）：由接入交换机组成，服务器HCA端口连接到叶子交换机端口。
- 脊层（Spine）：由核心交换机组成，每个叶子交换机向上连接到所有脊交换机，形成全连接。
这种拓扑下，任意两台服务器之间的路径有多条等价路径，SM通过自适应路由（Adaptive Routing）或静态哈希进行负载均衡。例如，一个包含32台叶子交换机、64台脊交换机的集群，可支持数千个节点，而任意两台节点间的最大跳数仅为3跳（服务器→叶子→脊→叶子→服务器）。
常见误区：初学者容易将IB的LID与IP地址混淆。LID是子网内二层地址，仅在单个子网内有效；跨子网通信需要IB路由器（IB Router），此时使用GID（基于IPv6格式的全局地址）进行三层寻址。此外，LID由SM动态分配，节点重启后LID可能变化，因此上层应用通常使用GID或端口GUID（全球唯一标识符）来稳定识别节点。
排障视角：LID路由异常排查
当IB网络出现通信故障时，可按照以下路径快速定位问题：
# 1. 查看端口状态与LID分配
ibstat # 显示本机HCA端口状态、LID、速率
ibstatus # 简版状态查询
# 2. 检查子网管理器是否正常
ibsm -s # 查询当前SM状态
ibdiagnet # 诊断子网拓扑与路由一致性
# 3. 验证端到端连通性
ibping -L 0x0003 # 使用LID进行ping测试
ibping -G 0x... # 使用GID进行ping测试
# 4. 查看交换机转发表（需登录交换机）
ibswitches # 列出所有交换机
# 在交换机上执行: smpquery lft 0 查看线性转发表若ibstat显示端口状态为Down，而物理链路正常，则大概率是SM未成功分配LID。此时应检查SM进程是否运行、是否存在主备冲突，以及SMP管理流量是否被防火墙阻断。
误区复盘：LID路由的三大认知陷阱
陷阱一：认为LID是静态配置的。实际上，LID完全由SM动态管理。如果SM发生重启，所有端口的LID可能被重新分配，依赖旧LID的静态路由配置将失效。生产环境中应使用GID或端口GUID进行持久化标识。
陷阱二：忽略多端口HCA的路由差异。双端口HCA的两个端口分属不同LID，数据包从哪个端口发出由发送端的路径选择逻辑决定。如果未正确配置QP绑定的端口，可能导致流量全部从单一端口发出，造成链路拥塞。
陷阱三：将子网内路由与跨子网路由混淆。LID路由仅覆盖子网内部。跨子网通信必须经过IB路由器，此时数据包需要携带GRH（Global Route Header），且路由器负责将LID转换为下一跳的LID。若在跨子网场景下仍只关注LID，将无法定位三层路由问题。