InfiniBand架构概述：整体协议栈与链路层定位

InfiniBand（IB）不是简单的“高速网卡+线缆”组合，而是一套完整的、为高性能计算（HPC）与数据中心设计的通道式I/O架构。理解IB，首先需要建立分层协议栈的全局视角，再聚焦于链路层——它是整个IB体系中最具特色、最复杂、也最影响性能的层次。

2.1 整体协议栈：四层分工与报文封装

IB协议栈自下而上分为物理层、链路层、网络层、传输层，与OSI模型有对应关系，但更精简、更面向硬件实现。各层职责如下：

报文在发送端的封装顺序为：传输层头（BTH等）→ 网络层头（LRH）→ 链路层附加CRC（ICRC/VCRC）→ 物理层编码。接收端则逐层解封装。值得注意的是，IB的“网络层”非常轻量——它不提供跨子网路由（那是路由器的事），只在子网内通过LRH中的DLID（目的本地ID）完成端口到端口的转发。

2.2 链路层的作用：为什么它是IB的“命门”

链路层位于物理层之上、网络层之下，承担着“承上启下”的关键角色。如果说物理层解决了“怎么传比特”，链路层则解决“怎么可靠、有序、公平地传帧”。具体而言，链路层有四大核心功能：

1. 帧封装与定界：将上层报文封装为IB链路帧，添加LRH（8字节）、ICRC（4字节）、VCRC（2字节）等字段。LRH中的DLID用于交换机转发决策，SL（服务等级）用于QoS仲裁。
2. 基于信用的流控（Credit-Based Flow Control）：这是IB实现无损网络的基石。接收方为每个VL（虚拟通道）维护信用计数器，发送方只有获得信用才能发送数据。信用耗尽则停止发送，从机制上杜绝了缓冲区溢出导致的丢包。
3. 错误检测与链路级重传：VCRC在每个交换机端口都会被重新计算并校验，一旦发现错误，该帧被丢弃并触发链路层重传（LLR）。ICRC则提供端到端的完整性校验，确保数据在整条路径上未被篡改。
4. VL仲裁与QoS：链路层将物理链路划分为最多16条虚拟通道（VL0~VL15），通过加权仲裁算法（如加权轮询）分配带宽。VL15专用于子网管理，VL0~VL14承载业务流量，从而实现不同业务流的隔离与优先级控制。

2.3 案例/场景：一个MPI消息如何穿越链路层

假设节点A上的MPI进程要向节点B发送一条64KB的消息，且两个节点直连一台交换机。消息在链路层的处理流程如下：

步骤1: 传输层将64KB消息拆分为多个MTU大小的报文（如4KB）
步骤2: 每个报文添加BTH(12B) → 形成传输层PDU
步骤3: 网络层添加LRH(8B)，填入DLID=节点B端口LID, SL=2
步骤4: 链路层计算ICRC(4B)并附加，形成待发送帧
步骤5: 发送端检查VL2信用计数器，若信用足够则发送
步骤6: 交换机收到帧，校验VCRC → 通过后更新VCRC → 根据DLID转发到出端口
步骤7: 出端口检查VL2信用，发送到节点B
步骤8: 节点B校验VCRC和ICRC，剥离链路层头，交给传输层重组

整个过程，链路层完成了两次VCRC校验（交换机入口和出口）、两次信用检查（节点A发送前和交换机转发前），以及一次ICRC端到端校验。任何一步失败都会触发重传或错误上报。

2.4 误区/复盘：对链路层的常见误解