4. RDMA编程核心概念：QP、CQ、MR、PD、AH等关键对象及其关系

RDMA（Remote Direct Memory Access）编程模型与传统的Socket编程有着本质区别。Socket编程中，开发者面对的是文件描述符和内核协议栈；而RDMA编程中，开发者直接面对一组由HCA（Host Channel Adapter）硬件管理的核心对象。理解这些对象（QP、CQ、MR、PD、AH）及其相互关系，是掌握RDMA高性能网络编程的基石。本章将深入剖析这些核心概念，帮助你在实际项目中正确构建和配置RDMA通信链路。

4.1 核心对象逐一拆解

4.1.1 QP（Queue Pair）——通信的“收发引擎”

QP是RDMA通信中最核心的对象，它由一对队列组成：发送队列（SQ，Send Queue）和接收队列（RQ，Receive Queue）。QP类似于Socket编程中的一条连接，但工作方式完全不同。应用程序通过向SQ提交工作请求（WR，Work Request），硬件（HCA）异步执行后将结果写入完成队列（CQ）。QP具有完整的状态机：RESET（复位）→ INIT（初始化）→ RTR（Ready to Receive）→ RTS（Ready to Send），只有到达RTS状态后才能进行实际数据传输。

4.1.2 CQ（Completion Queue）——异步完成的“通知中心”

CQ用于存放已完成的工作请求状态。当QP上的WR执行完毕（成功或失败），HCA会生成一个CQE（Completion Queue Entry）放入CQ。应用程序通过 ibv_poll_cq() 轮询CQ获取完成事件，从而回收发送缓冲区或处理接收数据。CQ与QP解耦，一个CQ可以同时服务多个QP，这在高并发场景下能显著减少资源占用。

4.1.3 MR（Memory Region）——零拷贝的“内存护照”

MR是RDMA实现零拷贝的关键。在通信前，应用程序必须将用户态缓冲区注册为MR，注册过程会锁定物理内存页并建立虚拟地址到物理地址的映射。注册后获得两个关键键值：lkey（本地键）和 rkey（远程键）。本地发送时使用lkey，远程节点访问本端内存时使用rkey。MR支持三种访问权限：本地写、远程读、远程写，必须按需申请。

// 注册MR的典型代码
struct ibv_mr *mr = ibv_reg_mr(pd, buf, size,
                               IBV_ACCESS_LOCAL_WRITE |
                               IBV_ACCESS_REMOTE_READ |
                               IBV_ACCESS_REMOTE_WRITE);
if (!mr) {
    fprintf(stderr, "Failed to register MR\n");
    exit(1);
}
printf("lkey = 0x%x, rkey = 0x%x\n", mr->lkey, mr->rkey);

4.1.4 PD（Protection Domain）——资源隔离的“安全边界”

PD是RDMA资源的逻辑容器，用于隔离不同应用或租户的资源。一个PD内可以创建多个QP、MR、AH，但不同PD之间的对象不能直接交互。例如，QP只能访问同一PD下的MR，否则会报保护错误。PD的引入使得多租户场景下的资源隔离成为可能，类似于操作系统中的进程地址空间隔离。

4.1.5 AH（Address Handle）——远端寻址的“地址簿”

AH封装了远端节点的地址信息，包括端口号、LID（Local Identifier）、GID（Global Identifier）、流量等级等。在UD（不可靠数据报）和UC（不可靠连接）服务中，发送数据时必须指定AH；RC（可靠连接）服务中，由于QP已经建立了点对点连接，AH可选。AH的创建需要指定PD和远端地址属性。

4.2 对象间的协作关系与数据流

一次典型的RDMA发送操作流程如下：

1. 创建PD，并在该PD下注册MR（将发送缓冲区注册为MR）。
2. 创建CQ，用于接收完成通知。
3. 创建QP，并关联到PD和CQ。
4. 将QP状态迁移到RTS（通过交换QP信息完成握手）。
5. 构造发送WR，指定 sg_list（散列表）指向MR中的缓冲区，并携带lkey。
6. 调用 ibv_post_send() 将WR提交到SQ。
7. 硬件异步执行DMA操作，完成后在CQ中生成CQE。
8. 应用程序调用 ibv_poll_cq() 获取CQE，确认发送完成。

4.3 实战案例：构建一个可靠的RC通信链路

假设我们需要在两个节点之间建立可靠的RDMA通信，传输一个1MB的缓冲区。以下是关键步骤和参数设计：

步骤1：资源初始化。在节点A上，首先分配PD，然后注册发送缓冲区MR。缓冲区大小为1MB，权限设置为本地写+远程读写。同时创建CQ，深度设为1024（足够容纳所有未完成的WR）。

步骤2：QP配置。创建QP时，设置 max_send_wr=128，max_recv_wr=128，max_sge=2（允许两个散列表条目）。QP类型为RC。将QP状态从RESET迁移到INIT，再交换QP号（QPN）和LID后迁移到RTR，最后迁移到RTS。

步骤3：数据发送。构造发送WR，sg_list[0] 指向MR的起始地址，长度为1MB。调用 ibv_post_send() 提交。硬件执行DMA读取，通过IB网络发送到对端。

步骤4：完成确认。轮询CQ获取CQE，检查 status 字段是否为 IBV_WC_SUCCESS。若失败，需要根据错误码（如 IBV_WC_REM_ACCESS_ERR）排查问题。

结果对比：使用RDMA后，单次1MB传输的CPU占用率从传统TCP的约30%降至不足5%，延迟从约50微秒降至约5微秒，吞吐量达到11.2Gbps，满足设计要求。

4.4 常见误区与调优建议

• 误区1：CQ深度设置过小。如果CQ深度小于QP的WR总数，可能导致CQ溢出，硬件会丢弃完成事件。建议CQ深度 ≥ 所有关联QP的WR总和。
• 误区2：忽略PD隔离。在多进程或多租户场景下，不同PD的资源不能混用。如果QP尝试访问其他PD下的MR，会触发保护错误。
• 误区3：MR注册后频繁注销。MR注册涉及内核锁页和映射操作，开销较大。对于频繁使用的缓冲区，应复用MR而非反复注册。
• 调优建议：对于延迟敏感型应用，可设置 sq_sig_all=0，仅对关键WR请求完成事件，减少CQ轮询开销。对于吞吐量敏感型应用，适当增大 max_send_wr 和 max_recv_wr，并采用多个QP并行传输。