2、RoCEv2基础概念：RDMA、RoCEv1/v2区别、InfiniBand与RoCE对比、关键术语（QP、CQ、MR、PD等）

RoCEv2（RDMA over Converged Ethernet version 2）是当前高性能计算、分布式存储和AI智算中心中最主流的RDMA网络协议之一。要真正理解Wireshark中捕获到的RoCEv2报文，首先必须厘清RDMA的技术谱系、RoCEv1与RoCEv2的协议栈差异、RoCE与InfiniBand的生态关系，以及QP、CQ、MR、PD等核心抽象对象。本章将从这四个维度展开，为后续的报文解析和故障排查打下坚实的理论基础。

上图清晰地展示了RDMA三种主流实现的技术定位。InfiniBand是“原生RDMA”网络，RoCEv1和RoCEv2则是将RDMA语义映射到以太网物理介质上的两种不同封装方式。在Wireshark中，三者对应的解析器分别为IBA、IBA over Ethernet和IBA over UDP，理解这一点是正确抓包和分析的第一步。

2.1 RDMA核心原理与价值

核心原理：RDMA（Remote Direct Memory Access）是一种允许网卡（RNIC，RDMA Network Interface Card）直接读写远端主机内存的技术。它绕过了传统TCP/IP协议栈中的内核网络协议处理、数据拷贝和CPU中断，实现了内核旁路（Kernel Bypass）、零拷贝（Zero Copy）和CPU卸载（CPU Offload）三大核心特性。在Wireshark中观察RoCEv2报文时，你会发现其数据载荷直接承载在UDP之上，没有TCP的序列号、确认号等复杂状态机，这正是RDMA“无状态卸载”的体现。

判断方法：在Wireshark中识别RDMA流量，最直接的标志是UDP目标端口4791（RoCEv2的IANA分配端口）。此外，如果看到以太网类型字段为0x8915，则说明是RoCEv1报文。对于InfiniBand，Wireshark会直接显示InfiniBand协议层，其LRH（Local Route Header）中的LID（Local Identifier）是关键的寻址信息。

2.2 RoCEv1与RoCEv2的深度对比

核心差异：RoCEv1和RoCEv2虽然都承载于以太网，但它们的协议栈分层有本质区别。RoCEv1直接使用以太网类型字段0x8915，相当于将IB的报文直接塞进以太网帧中，因此只能在同一个二层广播域内通信，无法跨VLAN或子网路由。RoCEv2则引入了UDP（端口4791）和IP层，将IB报文封装在UDP payload中，这使得RoCEv2可以利用标准IP路由协议进行三层转发，极大扩展了组网灵活性。

判断方法：在Wireshark中，快速区分RoCEv1和RoCEv2只需两步：第一，查看以太网头部中的Type字段，若为0x8915则为RoCEv1；第二，若Type为0x0800（IPv4），则继续展开UDP层，检查目标端口是否为4791。RoCEv2报文在Wireshark的协议树中会呈现Ethernet -> IP -> UDP -> IBA的层级结构。

2.3 InfiniBand与RoCE的生态对比

核心原理：InfiniBand是RDMA技术的“鼻祖”，它定义了从物理层到传输层的完整规范，包括专用的交换机、线缆和网卡。InfiniBand网络天然无损，通过基于信用的流控机制（Link-level Flow Control）保证数据不丢失。而RoCE则是“以太网上的RDMA”，它牺牲了InfiniBand的专用性，换取了以太网生态的低成本和通用性。RoCEv2在以太网上实现RDMA，必须依赖额外的机制（如PFC、ECN）来模拟无损网络环境。

案例拆解：某大型互联网公司曾面临选择：新建AI训练集群，是采用InfiniBand还是RoCEv2？经过测试，在400Gbps速率下，InfiniBand的端到端时延比RoCEv2低约15%，但RoCEv2的整体TCO（总拥有成本）低40%以上。最终他们选择了RoCEv2，并利用Wireshark抓包分析发现，在ECN标记开启后，网络拥塞导致的PFC暂停帧减少了80%，有效吞吐量从85%提升至95%。这个案例说明，RoCEv2在合理调优后，性能已非常接近InfiniBand，而Wireshark正是验证调优效果的关键工具。

2.4 关键术语：QP、CQ、MR、PD等

核心原理：RDMA的编程模型基于一组核心抽象对象，这些对象在Wireshark的IBA报文中都有对应的字段体现。理解这些术语，是解读报文内容的前提。

• QP（Queue Pair，队列对）：由发送队列（SQ）和接收队列（RQ）组成，是RDMA通信的基本端点。每个QP有唯一的QPN（Queue Pair Number），在Wireshark的BTH（Base Transport Header）中可以看到Dest QP字段。
• CQ（Completion Queue，完成队列）：用于异步通知应用程序发送/接收操作的完成状态。CQ在报文中不直接体现，但通过分析报文中的PSN（Packet Sequence Number）和操作码，可以推断CQ的完成情况。
• MR（Memory Region，内存区域）：注册的物理内存区域，用于RDMA读写操作。MR通过L_Key/R_Key（本地/远程键值）进行保护，在报文的RETH（RDMA Extended Transport Header）中携带。
• PD（Protection Domain，保护域）：用于隔离不同应用程序或租户的资源，确保QP、MR、AH（Address Handle）等对象只能在同一PD内互相访问。
• AH（Address Handle，地址句柄）：描述远端节点的地址信息（如LID、GID、MAC），用于发送路径选择。

判断方法：在Wireshark中展开IBA层，重点关注以下字段：BTH.Dest QP（目标队列对）、BTH.PSN（包序列号）、BTH.Opcode（操作码，如RDMA Write、RDMA Read、Send等）。对于RDMA Write/Read请求，RETH中的RETH.VA（虚拟地址）、RETH.R_Key（远程键值）和RETH.Length（长度）是核心信息。

案例拆解：在一次分布式存储集群的性能故障排查中，用户反馈RoCEv2写入延迟从80μs飙升至500μs。通过Wireshark抓包，发现大量RDMA_READ_RESPONSE报文的PSN不连续，且伴随有CNP（Congestion Notification Packet）报文。进一步分析发现，交换机的ECN阈值设置过低，导致频繁触发拥塞标记。调整ECN阈值后，PSN恢复连续，延迟降至90μs。这个案例展示了如何利用Wireshark中的QP、PSN和CNP字段，快速定位RoCEv2网络的拥塞问题。