4. InfiniBand架构详解：IB网络分层模型、物理层、链路层、网络层、传输层协议

InfiniBand（IB）并非简单的“高速网卡+交换机”组合，而是一套完整的、为高性能计算（HPC）与AI集群设计的独立网络架构。理解IB的分层模型是进行网络设计、性能调优和故障定位的基石。与TCP/IP的“尽力而为”不同，IB从设计之初就强调硬件卸载、低时延和端到端流控。本章将深入拆解IB的物理层、链路层、网络层与传输层，揭示数据在IB网络中从应用进程到远端内存的完整旅程。

上图展示了IB协议栈的四个核心层次及其在发送端与接收端的对应关系。与TCP/IP协议栈不同，IB的层次划分更侧重于硬件实现与低时延转发。下面我们将逐层深入，解析每一层的职责、关键机制与工程实践要点。

4.1 物理层：从SerDes到光模块的链路基础

核心原理：物理层定义了IB信号在铜缆或光纤上的电气特性、编码方式与链路训练机制。IB物理层采用高速串行差分信号（SerDes）技术，每个通道（Lane）独立传输数据。常见的链路宽度为4x（4通道）和12x（12通道），单通道速率从SDR（2.5Gbps）到NDR（200Gbps）不断演进。物理层的关键职责包括：

• 编码与解码：采用64b/66b编码（EDR及以后）或8b/10b编码（FDR及以前），保证DC平衡并提供时钟恢复信息。
• 链路训练：上电后，链路两端通过发送训练序列（TS1/TS2）协商速率、宽度和极性，完成比特级同步。
• 信号完整性：定义发送端预加重（Pre-emphasis）和接收端均衡（CTLE/DFE）参数，以补偿高频损耗。

判断方法与操作流程：在工程实践中，物理层故障通常表现为链路Down或大量CRC错误。使用ibstat命令可查看端口物理状态：

# 查看HCA端口物理层状态
ibstat mlx5_0

# 输出关键字段
State: Active
Physical state: LinkUp
Rate: 100 (EDR)
Lane: 4

若Physical state显示Polling或Disabled，则需检查光模块兼容性、线缆类型及端口配置。对于EDR及以上速率，必须使用经过认证的光模块（如Mellanox/ NVIDIA MMA1B00），并确认交换机端口与HCA端口速率匹配。

4.2 链路层：本地路由、虚拟通道与无损流控

核心原理：链路层是IB网络的核心，负责子网（Subnet）内的数据帧转发。它定义了本地路由头（LRH）、虚拟通道（VL）机制以及基于信用的流控（Credit-Based Flow Control）。链路层的关键要素包括：

• LRH（Local Route Header）：包含源LID（Local ID）、目的LID、服务等级（SL）和链路下一跳信息。LID是子网内的16位地址，由子网管理器（SM）分配。
• VL（Virtual Lane）：一条物理链路上可复用多个VL（最多15个数据VL+1个管理VL），每个VL拥有独立的缓冲区和流控机制，用于隔离不同类型流量（如存储、MPI、管理）。
• 信用流控：接收端为每个VL通告可用缓冲区信用（Credit），发送端只有在收到信用后才发送数据包。这保证了IB网络的无丢包（Lossless）特性。

案例拆解：假设一个集群中，HPC作业使用VL0传输MPI消息，而存储流量使用VL2。当存储流量突发时，VL2的缓冲区可能被占满，但VL0的MPI流量不受影响，因为两者拥有独立的信用池和调度权重。这种机制避免了TCP网络中常见的“队头阻塞”问题。

常见误区：许多初学者误以为IB的流控与TCP的滑动窗口类似。实际上，IB信用流控是基于每跳（Hop-by-Hop）的，即每个交换机端口都独立进行信用管理，而非端到端。这意味着IB网络中的每一段链路都必须配置足够的缓冲区，否则会导致上游端口暂停发送（通过发送BTH中的FECN或BECN拥塞通知）。

4.3 网络层：全局路由头与跨子网通信

核心原理：当数据包需要跨越多个IB子网（Subnet）时，必须使用网络层。IB网络层基于GRH（Global Route Header），采用类似IPv6的128位地址（GID）。GID由子网前缀（64位）+ 端口GUID（64位）组成。网络层的核心功能是路由决策，即根据GRH中的目的GID查找路由表，确定下一跳的LID和端口。

操作流程：在配置跨子网通信时，需要确保：

1. 每个子网的SM正确配置了子网前缀（如0xfe80000000000000）。
2. 路由器（IB Router）上配置了GID到LID的映射表。
3. 端节点的路由表包含到达远端子网的路径。

使用ibroute命令可以查看子网路由表：

# 查看交换机端口路由表
ibroute -n 0x2c90300f3e3a80

实战场景：在大型超算中心，通常将数千个节点划分为多个子网（每个子网约200-300个节点），通过核心路由器互联。这种设计限制了广播域规模，减少了SM的负载，并提高了网络的容错性。例如，某超算中心采用“胖树”拓扑，每个叶子交换机为一个子网，汇聚层路由器负责跨子网转发。

4.4 传输层：QP状态机、服务类型与可靠传输

核心原理：传输层是IB协议栈中最复杂的部分，它负责端到端的数据交付、可靠性保证和内存语义。传输层以队列对（QP，Queue Pair）为基本单元，每个QP由发送队列（SQ）和接收队列（RQ）组成。应用通过工作请求（WR，Work Request）驱动数据传输，完成情况通过完成队列（CQ，Completion Queue）通知。

服务类型对比：

案例拆解：以RDMA Write操作为例，其传输层流程如下：

1. 应用调用ibv_post_send()，提交一个WR到SQ，指定远端内存地址（虚拟地址+RKey）。
2. HCA硬件从SQ中取出WR，将数据从本地内存DMA读取，封装为IB数据包（包含BTH+RETH+数据）。
3. 数据包经过链路层、物理层发送到远端HCA。
4. 远端HCA校验BTH中的目的QP号，将数据直接DMA写入指定的内存地址（无需CPU参与）。
5. 远端生成ACK（对于RC服务），并产生完成通知到CQ。

常见误区与调优：传输层性能瓶颈往往出现在QP数量不足或CQ中断合并设置不当。对于多线程应用，建议每个CPU核心分配独立的QP，避免锁竞争。使用ibv_devinfo查看HCA支持的QP数量上限：

# 查看设备能力
ibv_devinfo -d mlx5_0 | grep -E "max_qp|max_cq"

在AI训练场景中，NVIDIA集体通信库（NCCL）通常使用RC服务类型，并针对每个GPU对建立独立QP。若遇到“QP资源耗尽”错误，需增加HCA的QP数量或优化通信组大小。