3. 数据包格式概览：InfiniBand数据包类型、头部结构、数据包处理流程

3.1 核心原理：IB数据包的分层封装模型

InfiniBand网络的数据传输并非简单地将数据从一端“推送”到另一端，而是通过一套严格的分层封装机制，将上层用户数据逐步添加控制信息，最终转换为物理链路上传输的比特流。理解这一封装模型，是掌握IB网络排障与性能调优的基础。

一个完整的IB数据包从内到外依次包含：有效载荷（Payload）、传输层头部（Transport Header）、网络层头部（Network Header）、链路层头部（Link Header），以及用于校验的尾部（ICRC/VCRC）。其中，传输层头部又细分为BTH（基础传输头）、RETH（RDMA扩展头）等，具体取决于操作类型。

3.2 数据包类型与头部结构详解

IB协议定义了多种数据包类型，每种类型服务于不同的通信语义。从路由和转发角度，最核心的分类是本地路由包与全局路由包。本地路由包仅携带LRH，适用于同一子网内的通信；全局路由包额外携带GRH（40字节），用于跨子网通信。

从传输操作角度，常见的数据包类型包括：

• RDM（可靠数据报）：用于可靠但无需连接管理的通信，如UD（不可靠数据报）的可靠版本。
• RC（可靠连接）：面向连接的可靠传输，每个QP对独占一条连接，支持RDMA读写和原子操作。
• UC（不可靠连接）：面向连接但无重传机制，适合对延迟敏感且可容忍少量丢失的场景。
• UD（不可靠数据报）：无连接、不可靠，支持多播，常用于管理消息和SMP（子网管理包）。

头部结构中最值得关注的是LRH（Local Route Header），它由交换机和网卡在每一跳都会处理。LRH共8字节，包含以下关键字段：

字段	位宽	说明
VL	4 bit	虚拟通道编号，决定数据包在链路层使用的流控通道
SL	4 bit	服务等级，用于QoS和路由选择（映射到VL）
LNH	2 bit	指示下一个头部类型（是否跟随GRH）
DLID	16 bit	目的本地ID，交换机据此进行转发决策
SLID	16 bit	源本地ID，用于回程路由和错误定位

3.3 数据包处理流程：从发送到接收

一个IB数据包从发送端网卡（HCA）产生到接收端网卡处理，需要经过以下标准流程。理解该流程有助于定位性能瓶颈和配置错误。

1. 发送端处理：CPU将数据写入内存，并创建工作请求（WR）提交到发送队列（SQ）。HCA的DMA引擎读取数据，根据QP上下文添加BTH、RETH等传输层头部。
2. 路由决策：HCA根据目的LID查询本地路由表，确定输出端口和VL。若目的LID不在本地子网，则添加GRH并设置LNH字段。
3. 链路层封装：添加LRH（包含DLID、SLID、SL、VL等），计算ICRC并附加到包尾。随后将包切分为64字节的Flit，通过物理层发送。
4. 交换机转发：交换机收到Flit后重组为完整包，解析LRH中的DLID，查询转发表（FDB），将包从对应端口发出。此过程会重写DLID和VL（若发生VL映射），并重新计算VCRC。
5. 接收端处理：目的HCA收到包后，首先校验VCRC和ICRC，然后解析LRH确认目的LID是否匹配。接着剥离链路层和网络层头部，将传输层头部与QP上下文比对（检查PSN、OpCode等）。
6. 数据交付：校验通过后，HCA通过DMA将Payload写入用户指定的内存缓冲区，并生成完成队列（CQ）条目通知CPU。

// 伪代码：HCA发送路径简化逻辑
if (qp_type == RC) {
    build_bth(opcode, dest_qp, psn);
    if (opcode == RDMA_WRITE) {
        build_reth(remote_addr, rkey, length);
    }
}
if (is_global_route(dest_lid)) {
    build_grh(sgid, dgid, hop_limit);
    lrh.lnh = GRH_PRESENT;
} else {
    lrh.lnh = NO_GRH;
}
lrh.dlid = dest_lid;
lrh.slid = my_lid;
icrc = calc_icrc(packet);
send_packet_to_link(lrh, headers, payload, icrc);

3.4 案例场景：跨子网RDMA写操作

假设主机A（LID=0x2，子网1）要向主机B（LID=0x5，子网2）执行RDMA写操作。数据包处理过程如下：

• 主机A的HCA构建BTH（OpCode=RDMA_WRITE，目的QP=0x1234，PSN=100），并添加RETH（目的地址、RKey、长度）。
• 由于目的LID 0x5不在本地子网，HCA添加GRH，其中SGID为主机A的GID（含子网前缀），DGID为主机B的GID。LRH中的DLID设置为子网2的边界路由器端口LID（例如0x3）。
• 子网1的交换机根据DLID=0x3将包转发至路由器。路由器剥离LRH，查询路由表，将包转发到子网2，并重写LRH：DLID=0x5，SLID=路由器在子网2的端口LID。
• 主机B的HCA收到包后，校验通过，将Payload DMA写入指定内存，并生成CQ完成通知。

3.5 误区与复盘：数据包处理的常见陷阱

在实际运维和开发中，以下问题频繁出现，值得重点警惕：

• PSN（包序号）不连续：在RC传输中，接收端会严格校验PSN连续性。若发现乱序或重复，会发送NAK。常见原因是QP的接收窗口设置过小，或链路丢包导致重传。
• ICRC与VCRC混淆：ICRC覆盖从LRH之后到Payload之前的所有字段（包括GRH），在每一跳保持不变；VCRC覆盖整个包（含LRH），每跳必须重新计算。若在交换机处修改了SL或VL而未重算VCRC，包将被丢弃。
• SL与VL映射错误：SL是端到端的QoS等级，VL是每跳的物理通道。交换机必须配置正确的SLtoVL映射表，否则即使DLID正确，包也可能因VL不可用而被丢弃。
• GRH的Hop Limit：跨子网包每经过一个路由器，Hop Limit减1。若初始值设置过小（如1），则包无法到达目的子网。建议初始值设为≥2。