IB网络协议栈：物理层、链路层、网络层、传输层，以及报文格式与流控机制
核心原理：IB协议栈的分层架构
InfiniBand（IB）协议栈并非简单的OSI七层模型映射，而是针对高性能计算与GPU互连场景做了深度裁剪与强化。其核心分层为物理层、链路层、网络层、传输层，上层再承载IBA操作（如RDMA读写、原子操作）与上层协议（如IPoIB、SDP）。理解IB协议栈的关键在于：链路层负责子网内可靠传输，网络层负责跨子网路由，传输层负责端到端服务类型——这与TCP/IP的“尽力而为+端到端重传”哲学截然不同。
IB物理层定义了链路速率（SDR 2.5Gbps至NDR 400Gbps）、信号编码（64b/66b或更高级调制）、连接器类型（QSFP、OSFP）以及电气特性。链路层则承担了IB最核心的流控与可靠性机制，包括基于信用（Credit）的链路级流控、错误检测与重传（非自动重传，而是通过Go-Back-N机制由接收端请求重发）。网络层使用64位全局路由头（LRH+GRH），支持子网间路由；传输层则提供四种传输服务：可靠连接（RC）、不可靠连接（UC）、可靠数据报（RD）、不可靠数据报（UD），其中RC是GPU通信（如GPUDirect RDMA）最常用的类型。
方法流程：报文封装与解析路径
当GPU应用发起一次RDMA写操作时，数据从应用缓冲区出发，依次经历以下封装流程：
- 传输层封装：将用户数据分割为最大4KB的报文段，添加BTH（12字节），包含目的QP号、操作码（RDMA Write/Read/Atomic等）、PSN（包序列号）。若使用RC服务，还需添加RETH（16字节），记录远端虚拟地址与RKey。
- 网络层处理：若目标在同一子网内，仅需添加LRH（8字节），包含源/目的LID与链路CRC；若跨子网，则需额外添加GRH（40字节），包含128位GID与流量等级（Traffic Class）。
- 链路层发送：发送端检查信用计数器，若信用足够则发送报文，同时将PSN+1；若信用不足，则等待接收端返回信用更新（Credit Update）报文。
- 接收端处理：物理层接收信号后，链路层校验VCRC与ICRC，检查LID是否匹配；网络层解析GRH确定路由路径；传输层按QP号分发至对应队列对，检查PSN连续性，将数据写入预先注册的GPU显存缓冲区。
实操要点：在排查GPU通信性能问题时，使用 ibstat 查看物理层状态（速率、宽度、状态），使用 ibv_devinfo 确认设备能力，使用 perftest 工具（如 ib_write_bw）验证实际带宽与延迟。若发现CRC错误计数增长，优先检查光模块与线缆连接。
案例/场景：多子网GPU集群的跨子网通信
假设一个大规模GPU集群包含4个子网（每个子网约200个节点），子网间通过IB路由器（IB Router）互连。当子网A中的GPU节点需要与子网B中的GPU节点进行AllReduce通信时：
- 发送端使用UD服务或RC服务均可，但RC服务需要预先建立连接（通过连接管理器CM），UD则无需建连但不可靠。
- 报文必须携带GRH，因为目的LID仅在子网内有效，跨子网必须依赖GID进行路由。
- IB路由器解析GRH中的目的GID，查找路由表，将报文转发至下一子网；路由器会重写LRH（更新源/目的LID），但保留GRH不变。
- 接收端收到报文后，通过BTH中的QP号将数据投递到正确的队列对，完成端到端传输。
该场景中，流控机制跨子网时不再生效——链路层信用机制仅覆盖单条物理链路。跨子网的端到端可靠性由传输层保证（RC服务通过重传机制），因此跨子网通信通常建议使用RC服务。
误区/复盘：常见配置错误与排查思路
| 误区/错误 | 现象 | 根因分析 | 解决方案 |
|---|---|---|---|
| MTU不一致 | 通信超时或性能骤降 | 子网内交换机与端口的MTU设置不匹配，导致分片或丢包 | 统一设置MTU为4092（4KB），使用 ibstatus 检查 |
| 信用机制误解 | 发送端频繁暂停 | 接收端缓冲区不足，信用更新延迟 | 增大接收端QP的接收缓冲区深度（rx_depth） |
| PSN乱序 | RC连接重传风暴 | 链路层丢包后未及时重传，或接收端缓冲区溢出 | 检查交换机错误计数，使用 ibdiagnet 诊断 |
| GID配置错误 | 跨子网通信失败 | 子网前缀配置错误，或路由器路由表未更新 | 使用 ibqueryerrors 检查，核对子网管理器配置 |
重要提醒：IB链路层的流控是基于信用、逐跳（hop-by-hop）的机制，而非TCP的端到端窗口。这意味着中间交换机也必须参与流控，任何一段链路的缓冲区不足都会反向传播背压（Backpressure），影响整个通信路径。在GPU集群中，若发现某条链路流量异常，应沿数据路径逐段检查端口信用计数与丢弃计数。
复盘一次真实故障：某集群运行AllReduce时，节点间带宽从400Gbps骤降至50Gbps。通过 ibstat 发现所有端口物理层正常，但 ibdiagnet 报告交换机端口存在大量 LinkRecover 事件。进一步排查发现，光模块的接收功率低于-12dBm，触发链路层误码率升高，导致频繁重传。更换光模块后，带宽恢复正常。该案例说明：物理层信号质量直接影响链路层重传效率，进而影响传输层吞吐——排查性能问题时应从物理层逐层向上分析。