RDMA基础：概念、协议栈与核心操作
2.1 RDMA核心概念：绕过内核，直达远端内存
RDMA（Remote Direct Memory Access，远程直接内存访问）是一种允许应用程序在不经过操作系统内核、不占用CPU周期的情况下，直接从网卡（RNIC，RDMA Network Interface Card）读写远端主机内存的技术。传统网络通信中，数据从网卡到用户缓冲区需要经过内核协议栈、多次内存拷贝和CPU中断处理；而RDMA将数据通路从“内核—CPU—内存”改为“网卡—内存”的硬件直通路径。
关键特征：
- 内核旁路（Kernel Bypass）：应用程序通过用户态驱动直接与网卡交互，不触发系统调用。
- 零拷贝（Zero-Copy）：数据在网卡与用户缓冲区之间直接DMA传输，无需中间缓冲。
- CPU卸载（CPU Offload）：数据传输、确认、重传等由网卡硬件完成，CPU仅负责发起操作。
- 消息语义：支持Send/Receive（双边操作）与Read/Write（单边操作）两种通信模式。
RDMA的典型应用场景包括高性能计算（HPC）、分布式存储（如NVMe-oF）、机器学习训练集群（梯度同步）以及低延迟数据库。理解RDMA必须区分其三种主流实现：InfiniBand（原生RDMA）、RoCEv2（基于以太网的RDMA）和iWARP（基于TCP的RDMA）。其中，RoCEv2因可复用现有以太网基础设施而成为数据中心最广泛部署的方案。
2.2 InfiniBand与RoCEv2协议栈对比
InfiniBand是专为RDMA设计的原生网络架构，拥有独立的物理层、链路层、网络层和传输层。其协议栈中，子网管理器（Subnet Manager）负责路径计算和转发配置，保证无损传输。而RoCEv2将RDMA承载于标准以太网之上，使用UDP/IP封装（目的端口4791），允许通过IP路由跨子网通信。
| 层次 | InfiniBand | RoCEv2 |
|---|---|---|
| 物理层 | IB专用线缆/光模块（4x/12x） | 标准以太网（25/100/200GbE） |
| 链路层 | IB链路层（无损，基于信用流控） | 以太网 + 优先流控（PFC）实现无损 |
| 网络层 | IB全局路由（LRH+GRH） | IP/UDP封装（IPv4/IPv6） |
| 传输层 | IB传输层（RC/UC/UD等） | UDP + RDMA传输层（BTH） |
| 拥塞控制 | IB CC（基于FECN/BECN） | DCQCN（基于ECN） |
RoCEv2的报文格式中，Base Transport Header（BTH）包含OpCode、目的QP号、PSN（包序号）等关键字段。当网络发生丢包时，RoCEv2依赖Go-Back-N重传机制，这会显著降低性能，因此生产环境必须配置无损以太网（PFC + ECN + 流控）。
2.3 核心操作：Send/Receive与Read/Write
RDMA通信基于队列对（Queue Pair, QP）模型。每个QP由发送队列（SQ）和接收队列（RQ）组成。应用程序通过提交工作请求（Work Request, WR）到队列，网卡硬件执行后产生完成队列元素（CQE）通知应用。
四种基本操作类型：
- Send（发送）：主动将本地缓冲区数据发送到对端。对端必须预先提交Receive请求，否则数据会被丢弃。
- Receive（接收）：接收对端Send来的数据，写入预先注册的缓冲区。
- Read（读）：直接读取对端指定内存地址的数据到本地缓冲区，无需对端CPU参与。
- Write（写）：将本地数据直接写入对端指定内存地址，无需对端CPU参与。
Send/Receive属于双边操作，两端都需要参与（类似传统Socket通信）；而Read/Write属于单边操作，对端网卡直接访问内存，对端应用完全无感知。单边操作是RDMA低延迟优势的核心体现，但要求对端内存区域提前注册并暴露RKey（远端内存访问密钥）。
// 伪代码示例：RDMA Write操作（单边）
// 节点A（主动方）
struct ibv_mr *local_mr = ibv_reg_mr(pd, local_buf, size,
IBV_ACCESS_LOCAL_WRITE);
struct ibv_mr *remote_mr = ibv_reg_mr(pd, remote_buf, size,
IBV_ACCESS_REMOTE_WRITE);
struct ibv_sge sge = { .addr = (uint64_t)local_buf,
.length = size, .lkey = local_mr->lkey };
struct ibv_send_wr wr = { .opcode = IBV_WR_RDMA_WRITE,
.send_flags = IBV_SEND_SIGNALED,
.sg_list = &sge, .num_sge = 1,
.wr.rdma.remote_addr = (uint64_t)remote_buf,
.wr.rdma.rkey = remote_mr->rkey };
ibv_post_send(qp, &wr, &bad_wr);2.4 案例：分布式存储中的RDMA Write应用
某分布式块存储系统使用RoCEv2网络，客户端需要将4KB数据写入存储节点的内存缓存。传统方案中，客户端通过TCP发送数据，存储节点CPU需要执行recv()、内存拷贝、再写入缓存。改用RDMA Write后：
- 存储节点启动时注册一块内存区域，并将地址+RKey告知客户端。
- 客户端直接发起RDMA Write，将数据写入存储节点预注册的缓存区。
- 写入完成后，客户端通过一个单独的Send消息（带数据描述符）通知存储节点“数据已就绪”。
- 存储节点CPU仅需处理描述符消息，无需参与数据拷贝。
实测结果：单次I/O延迟从传统TCP的45微秒降至7微秒，CPU占用率下降约60%。但该方案要求存储节点内存区域不能频繁释放或移动，否则会导致RKey失效。
2.5 常见误区与故障复盘
误区1：认为RDMA Write不需要对端任何准备。实际上，对端必须提前注册内存区域（Memory Registration），并保持该区域的有效性。若对端应用崩溃或缓冲区被释放，RDMA Write会写入无效地址，导致对端内存损坏或网卡报错。
误区2：忽略Send/Receive的队列深度匹配。如果发送端频繁Send而接收端未及时提交Receive请求，接收队列会溢出，导致丢包重传。生产环境中应使用流控机制或改用单边操作。
排障复盘案例：某集群RoCEv2网络出现间歇性性能骤降。排查发现：交换机PFC暂停帧计数持续增长，说明网络中存在丢包。进一步定位为某节点RDMA Write操作频繁访问远端已注销的内存区域，触发网卡重传风暴。修复方案：在应用层增加RKey生命周期管理，确保远端内存释放前先断开QP连接。
理解RDMA的核心操作与协议栈差异，是后续诊断智能网卡故障的基础。实际运维中，大部分RDMA性能问题源于协议栈配置不当（如PFC阈值设置错误）、QP状态异常（如RTS到SQD状态迁移失败）或内存注册泄漏。掌握本节内容后，即可进入下一层级的故障定位方法学习。