2、RDMA基础概念：IB/RoCE/iWARP协议栈、队列对(QP)、完成队列(CQ)、内存注册(MR)等核心术语

RDMA（Remote Direct Memory Access，远程直接内存访问）技术的核心价值在于：允许应用程序在不经过操作系统内核、不占用CPU周期的情况下，直接读写远端主机内存。要深入理解Linux内核中的RDMA子系统（InfiniBand/RDMA内核协议栈），首先必须厘清其协议族谱、核心对象模型以及数据流动的基本路径。本章将围绕协议栈差异、队列对（QP）、完成队列（CQ）和内存注册（MR）四大主题展开，为后续分析内核源码（如drivers/infiniband/core/下的代码）建立坚实的认知基础。

上图展示了RDMA三大核心要素的关联：协议栈决定了数据如何封装与传输，核心对象模型（QP/CQ/MR）构成了软件接口，而数据流动路径则揭示了RDMA“零拷贝”与“内核旁路”的本质。下面我们逐一深入剖析。

2.1 协议栈对比：IB、RoCE与iWARP

核心原理

RDMA并非单一技术，而是三种主要协议栈的统称。它们共享相同的上层接口（Verbs API），但在物理层和传输层实现上存在显著差异。理解这些差异对于内核驱动开发和性能调优至关重要。

• InfiniBand (IB)：专为RDMA设计的原生协议栈。它拥有独立的链路层、网络层和传输层，提供最高的性能和最低的延迟（亚微秒级）。IB要求专用的交换机、线缆和HCA（Host Channel Adapter）卡，成本较高，主要部署在高性能计算（HPC）和高端数据中心。
• RoCE (RDMA over Converged Ethernet)：旨在利用现有以太网基础设施承载RDMA。RoCE v1在以太网链路层（EtherType 0x8915）直接封装IB数据包，要求无损以太网（PFC流控）。RoCE v2则改为在UDP/IPv4或IPv6上封装（目标端口4791），实现了三层路由，可扩展性更强，是目前数据中心最主流的方案。
• iWARP (RDMA over TCP)：将RDMA语义映射到TCP/IP协议栈上。它利用标准TCP的可靠传输特性，无需特殊网络配置（如PFC），但性能受限于TCP协议栈的处理开销，延迟通常高于RoCE和IB。

判断方法

在实际环境中，可通过以下命令快速判断当前网卡支持的协议类型：

# 查看RDMA设备列表及其支持的协议
rdma link show
# 输出示例：
# link mlx5_0/1 state ACTIVE physical_state LINK_UP netdev ens3f0
#     pkey 0xffff, gid 02:00:00:00:00:00:00:00:00:00:255:254:00:00:00:00

# 查看具体设备能力
ibv_devinfo -d mlx5_0 | grep -E "transport|link_layer"
# 输出示例：
# transport:                      InfiniBand (0)
# link_layer:                     Ethernet (RoCE) (4)

若link_layer显示为InfiniBand，则为IB模式；若显示为Ethernet (RoCE)，则为RoCE模式。iWARP设备通常显示为iWARP或TCP。

案例拆解：RoCE v2网络中的PFC配置问题

背景与约束：某数据中心部署RoCE v2集群，使用Mellanox ConnectX-5网卡和Cisco Nexus交换机。业务侧报告分布式存储性能不达标，延迟从预期的1.5μs飙升至20μs。

初始现象：运行ib_write_bw测试，带宽仅达到理论值的60%，且伴随大量重传计数。

关键数据：

• ethtool -S ens3f0 | grep -E "tx_pause|rx_pause" 显示PFC帧计数持续增长。
• rdma statistic show 显示rx_icrc_errors和rx_remotely_invalid_errors非零。

分析判断：PFC（优先级流控）是RoCE v2无损传输的基石。若交换机未正确配置PFC映射（即将RoCE流量映射到特定优先级队列），当网络拥塞时，交换机丢弃RoCE数据包，触发RDMA重传，导致延迟飙升。

操作步骤：

1. 检查交换机配置：确认RoCE流量（DSCP值46）映射到优先级3，并启用了PFC。
2. 在服务器端检查：mlnx_qos -i ens3f0 查看当前QoS配置，确保dscp2prio映射正确。
3. 修正配置：在交换机上执行priority-flow-control mode on，并设置priority 3为无损队列。

结果对比：重新运行ib_write_bw，延迟恢复至1.8μs，带宽达到线速。PFC帧计数趋于稳定。

复盘经验：RoCE v2的性能高度依赖底层网络的QoS配置。内核驱动本身无法解决网络丢包问题，排查时应优先检查交换机PFC、ECN（显式拥塞通知）和缓冲区设置。

2.2 队列对（QP）：RDMA通信的端点

核心原理

QP是RDMA通信的基本执行单元，它由一对队列组成：发送队列（Send Queue, SQ）和接收队列（Receive Queue, RQ）。应用程序通过Verbs API（如ibv_post_send和ibv_post_recv）将工作请求（Work Request, WR）投递到QP中，硬件（HCA或网卡）异步处理这些请求。

QP的状态机是内核源码分析的关键：Reset → Init → Ready-to-Receive (RTR) → Ready-to-Send (RTS)，以及Send Queue Drain (SQD)和Error状态。每个状态转换都有严格的约束，例如，必须先将QP迁移到RTR才能接收数据，必须到RTS才能发送数据。

QP的类型决定了通信模式：

• 可靠连接（RC, Reliable Connection）：一对一的可靠通信，支持RDMA读写操作，是使用最广泛的类型。
• 不可靠连接（UC, Unreliable Connection）：一对一的不可靠通信，不支持RDMA读写，但开销更低。
• 不可靠数据报（UD, Unreliable Datagram）：一对多的不可靠通信，类似UDP，支持多播，但数据报大小受限（通常为MTU）。
• 原始数据报（Raw Packet）：允许直接访问链路层，用于特殊场景（如构建自定义协议）。

操作流程：QP状态转换

// 伪代码展示QP状态转换流程
struct ib_qp *qp = ibv_create_qp(pd, &qp_init_attr);
// 1. Reset -> Init
ibv_modify_qp(qp, &attr, IBV_QP_STATE | IBV_QP_PKEY_INDEX | IBV_QP_PORT);
// 2. Init -> RTR (设置对端QP号、端口、访问权限等)
attr.qp_state = IBV_QPS_RTR;
attr.dest_qp_num = remote_qpn;
attr.path_mtu = IBV_MTU_4096;
ibv_modify_qp(qp, &attr, IBV_QP_STATE | IBV_QP_AV | IBV_QP_PATH_MTU);
// 3. RTR -> RTS (设置发送超时、重传次数等)
attr.qp_state = IBV_QPS_RTS;
attr.timeout = 14;
attr.retry_cnt = 7;
attr.rnr_retry = 7;
ibv_modify_qp(qp, &attr, IBV_QP_STATE | IBV_QP_TIMEOUT | IBV_QP_RETRY_CNT);

每个状态转换都必须携带正确的属性掩码，否则内核会返回EINVAL错误。这是驱动开发中常见的错误来源。

常见误区

2.3 完成队列（CQ）与完成事件

核心原理

CQ用于通知应用程序其先前提交的WR（工作请求）已完成。当硬件完成一个WR的处理（发送完成或接收数据到达），它会生成一个完成队列条目（Completion Queue Entry, CQE）并放入指定的CQ中。应用程序通过轮询（ibv_poll_cq）或等待事件（ibv_get_cq_event）来获取CQE。

CQ与QP的关系是多对多的：一个CQ可以服务于多个QP，一个QP的SQ和RQ也可以关联不同的CQ。这种设计提供了灵活性，例如，可以将所有发送完成事件集中到一个CQ，而接收完成事件集中到另一个CQ。

CQE中包含了关键信息：

• wr_id：用户自定义的标识符，用于关联具体的WR。
• status：完成状态（成功或各种错误码）。
• byte_len：实际传输的字节数（接收操作时有效）。
• qp_num：产生该CQE的QP编号。

判断方法：如何高效处理CQ

在高性能场景中，轮询（Polling）通常优于事件（Event），因为事件通知涉及内核态到用户态的上下文切换。推荐使用忙轮询模式：

struct ibv_wc wc[64];
int n = ibv_poll_cq(cq, 64, wc);
for (int i = 0; i < n; i++) {
    if (wc[i].status != IBV_WC_SUCCESS) {
        fprintf(stderr, "CQ error: %s\n", ibv_wc_status_str(wc[i].status));
        // 处理错误，可能需要销毁QP
    } else {
        // 根据 wc[i].wr_id 处理完成事件
    }
}

注意：ibv_poll_cq返回的CQE数量可能少于请求的数量，需要循环调用直到返回0。同时，必须及时处理CQE，否则CQ队列满后，硬件会停止产生新的CQE，导致QP挂起。

案例拆解：CQ溢出导致的性能悬崖

背景：某分布式数据库使用RDMA进行节点间通信，配置了cq_size=1024。在峰值负载下，数据库进程突然出现大量超时。

分析：通过perf top发现ibv_poll_cq占用CPU时间极低，但ibv_get_cq_event调用频繁。进一步使用rdma res show cq查看CQ深度，发现poll_ctx为WORKQUEUE，且cqe计数达到上限。

根因：应用程序处理CQE的速度低于硬件产生CQE的速度，导致CQ溢出。硬件在CQ溢出后会停止处理该QP的所有WR，并触发IBV_EVENT_CQ_ERR异步事件。

解决方案：

1. 增大CQ深度：将cq_size从1024调整为4096。
2. 优化轮询逻辑：使用ibv_poll_cq批量获取CQE，减少系统调用次数。
3. 调整中断合并参数：通过ibv_modify_cq设置moderation_counter和moderation_period，降低中断频率。

结果：调整后，CQ溢出消失，数据库延迟恢复稳定。

2.4 内存注册（MR）与内存管理

核心原理

RDMA的核心优势是“零拷贝”，但这要求硬件能够直接访问应用程序的内存缓冲区。由于硬件（HCA/网卡）需要知道物理地址，并且要防止非法访问，因此必须通过内存注册（Memory Registration）机制将用户态虚拟地址映射到物理地址，并锁定内存页（防止被换出）。

MR（Memory Region）是注册后的内存区域，它包含以下关键属性：

• 虚拟地址（Virtual Address）：应用程序使用的起始地址。
• 长度（Length）：注册的内存大小。
• L_Key（Local Key）：本地访问密钥，用于本地HCA访问该内存。
• R_Key（Remote Key）：远程访问密钥，用于对端HCA访问该内存（需要开启远程读写权限）。

内存注册涉及两个关键操作：注册（ibv_reg_mr）和注销（ibv_dereg_mr）。注册时，内核会调用get_user_pages锁定物理页，并建立DMA映射。注销时，需要确保没有正在进行的RDMA操作引用该MR。

操作流程：注册与使用MR

// 1. 分配缓冲区
char *buf = malloc(4096);
// 2. 注册MR
struct ibv_mr *mr = ibv_reg_mr(pd, buf, 4096, 
                               IBV_ACCESS_LOCAL_WRITE | IBV_ACCESS_REMOTE_READ);
if (!mr) {
    perror("ibv_reg_mr failed");
    exit(1);
}
// 3. 在发送WR中引用MR
struct ibv_sge sge = {
    .addr = (uint64_t)buf,
    .length = 4096,
    .lkey = mr->lkey,
};
struct ibv_send_wr wr = {
    .wr_id = 1,
    .sg_list = &sge,
    .num_sge = 1,
    .opcode = IBV_WR_SEND,
};
// 4. 注销MR（在确保所有相关操作完成后）
ibv_dereg_mr(mr);
free(buf);

注意：sge.addr必须与注册时的虚拟地址一致，sge.lkey必须使用mr->lkey。如果使用IBV_ACCESS_REMOTE_WRITE，则对端可以使用mr->rkey和mr->addr发起RDMA写操作。

常见误区与总结

总结复盘：本章节梳理了RDMA的三大核心概念。协议栈决定了网络部署形态，QP是通信的端点，CQ是异步完成的反馈通道，MR则是实现零拷贝的基石。在后续分析Linux内核源码时，请时刻关注这些对象在内核中的表示（struct ib_qp, struct ib_cq, struct ib_mr）以及它们之间的关联（通过ib_pd保护域进行隔离）。理解这些基础概念，是解读drivers/infiniband/core/verbs.c和drivers/infiniband/core/umem.c等核心文件的前提。