RDMA操作类型：Send/Receive、Read/Write、原子操作
RDMA（Remote Direct Memory Access）之所以能实现微秒级延迟与百Gbps级带宽，核心在于其将数据通路从CPU手中解放出来，交由网卡（HCA，Host Channel Adapter）直接与远端内存交互。但“直接访问”并非一种笼统的行为——RDMA规范将上层应用可用的操作明确划分为三大类：Send/Receive（双边操作）、Read/Write（单边操作）以及原子操作（Atomic）。理解这三类操作的本质差异，是后续定位丢包、分析重传、调整队列参数的前提。
核心原理：从“谁参与”与“谁知晓”说起
RDMA操作的分类维度有两个：通信双方是否都需要参与，以及接收端软件是否感知数据到达。Send/Receive属于“双边操作”，因为接收端必须提前调用接收请求（Post Receive Request），否则发送端的数据到达后无处安放，会触发接收队列错误。而Read/Write属于“单边操作”，发送端直接指定远端内存地址与长度，接收端CPU完全不知情，数据便已写入或读出。
从队列对（QP，Queue Pair）的视角看，Send/Receive会同时消耗发送端和接收端的WQE（Work Queue Element），而Read/Write仅消耗发起端的WQE，响应端由硬件自动完成。这一差异直接决定了吞吐量、CPU占用率以及错误处理的复杂度。
关键记忆点：Send/Receive是“握手式”通信，适合控制面与短消息；Read/Write是“直通式”DMA，适合批量数据传输；原子操作则是“锁定式”更新，适合分布式锁与计数器。
三类操作的详细语义与适用场景
1. Send / Receive：可靠的双边握手
Send操作要求接收端预先在接收队列中放置足够数量的WQE。发送端发出数据后，接收端HCA自动将数据写入WQE指定的内存区域，并产生完成事件。若接收端未提前发布接收请求，发送端重传仍会失败，最终表现为RNR（Receiver Not Ready）重传——这是InfiniBand网络中常见的丢包诱因之一。
- 优点：接收端能感知每次消息到达，适合控制消息、RPC调用、连接建立。
- 缺点：双方都需要CPU参与WQE发布与完成轮询，延迟略高。
- 典型应用：键值存储的请求分发、分布式文件系统的元数据通信。
2. RDMA Read / Write：真正的“零拷贝”
Read/Write操作只需发起端指定远端内存的虚拟地址、RKey（远端内存密钥）和长度，接收端HCA直接通过DMA引擎访问内存。接收端CPU完全无感知，因此被称为“单边操作”。
调优提示：在大规模HPC集群中，MPI_Allreduce等集合通信常使用RDMA Write + 标志位轮询的方式，避免接收端CPU被打断。但需注意，RKey泄露会导致远端任意读写，因此必须配合内存注册与权限管理。
3. 原子操作：硬件级同步原语
InfiniBand支持两类原子操作：FetchAdd（原子加）和CompareSwap（CAS，比较交换）。操作由HCA在远端内存上直接执行，保证多节点并发访问时的数据一致性，无需额外的锁服务器。
// 伪代码示例：使用RDMA CAS实现分布式锁
lock_addr = remote_buffer + offset;
old_val = 0;
new_val = 1;
rdma_cas(qp, lock_addr, compare=old_val, swap=new_val, rkey);
if (completion.status == SUCCESS && completion.original == old_val) {
// 获取锁成功
}方法流程：如何选择正确的操作类型
在实际系统设计中，选择哪类操作并非随意，而是遵循一套可复用的判断流程。以下流程已在多个分布式存储项目中验证有效：
- 判断消息长度：小于等于MTU（通常4KB）的短消息优先考虑Send/Receive，避免注册内存的开销。
- 判断接收端是否需要感知：若接收端需要知道“数据到了”并触发业务逻辑（如请求分发），则必须使用Send/Receive。
- 判断是否批量数据：超过64KB的连续数据传输，使用RDMA Write/Read，并配合专用内存区域。
- 判断是否需要同步语义：若多个节点需要原子更新同一计数器或实现自旋锁，使用原子操作。
- 检查内存注册方式：单边操作要求远端内存注册时使用
IBV_ACCESS_REMOTE_WRITE或IBV_ACCESS_REMOTE_READ权限。
| 对比维度 | Send/Receive | RDMA Read | RDMA Write | 原子操作 |
|---|---|---|---|---|
| 接收端CPU参与 | 是（需提前Post Receive） | 否 | 否 | 否 |
| 接收端感知数据 | 是（产生完成事件） | 否 | 否 | 否 |
| 消耗接收端WQE | 是 | 否 | 否 | 否 |
| 典型延迟（InfiniBand HDR） | ~1.5μs | ~1.2μs | ~1.0μs | ~1.3μs |
| 适用消息大小 | 任意（通常<8KB） | 大块读（>64KB） | 大块写（>64KB） | 8字节 |
案例：分布式KV存储中的混合使用
某分布式KV存储系统使用RDMA加速GET/PUT请求。最初设计全部采用Send/Receive，结果发现当PUT请求携带大Value（256KB）时，接收端CPU忙于处理完成事件，吞吐量仅达到线速的60%。优化后改为：
- 控制消息（GET请求、PUT请求头）：使用Send/Receive，保证接收端感知请求到达。
- 数据写入：使用RDMA Write，将Value直接写入预先注册的环形缓冲区。
- 标志位更新：使用RDMA Write写入一个8字节的“数据就绪”标志，接收端通过轮询该标志而非依赖完成中断。
优化后，接收端CPU占用率从85%降至15%，吞吐量提升至线速的92%。该案例说明，单边操作并非总是优于双边操作，关键在于将“需要感知”与“纯数据搬运”两类流量分离。
误区与复盘：常见设计陷阱
误区一：所有数据都用RDMA Write。若接收端需要根据消息内容执行不同逻辑（如分布式事务中的Prepare/Commit），完全绕过接收端CPU会导致协议状态机无法推进。正确做法是保留一条Send/Receive控制通道。
误区二：忽略RKey与内存窗口的权限控制。RDMA Read/Write允许远端直接访问内存，若RKey被错误设置为IBV_ACCESS_REMOTE_WRITE且未及时注销，任何知道RKey的节点都能篡改数据。生产环境应使用rdma_bind_addr绑定具体远端，并定期轮换密钥。
误区三：原子操作被当作通用锁。原子操作仅支持8字节比较交换，无法实现临界区保护。若多个节点需要对同一数据结构进行复杂更新，仍需基于原子操作构建更上层的锁协议（如MCS锁）。
复盘要点：在定位RDMA丢包问题时，若发现大量RNR重传，首先检查接收端是否及时发布了足够的Receive WQE；若发现CRC错误或重传超时，则检查是否错误地在不可靠连接（UD）上使用了Read/Write——单边操作仅适用于可靠连接（RC）或可靠数据报（XRC）。
理解三类操作的本质区别，是进行QP配置、内存注册、中断合并调优的基础。下一层需要深入的是QP的状态机与错误处理机制，但在此之前，请务必在测试环境中分别用Send/Receive和RDMA Write跑通同一个消息传递程序，观察CPU占用与延迟差异——这种直观体验比任何文档都更能加深理解。