3. RDMA核心概念
好，咱们今天聊点硬核的。RDMA 之所以能跑出那么低的延迟、那么高的带宽，靠的可不是什么魔法。说白了，它把数据传输的路径彻底重新设计了一遍。我刚开始接触 RDMA 的时候，最头疼的就是这一堆缩写：QP、CQ、WR、WQE…… 感觉像在看天书。
但你别怕。这些东西，拆开来看，每个角色都很清晰。今天我就带你把这几个核心概念彻底吃透。你想想看，理解了它们，你就掌握了 RDMA 的“交通规则”。
3.1 内存注册（Memory Registration）
RDMA 要直接读写远端内存，但操作系统可不是吃素的。它得确保你读写的内存是“合法”的，不能乱来。所以，第一步就是——内存注册。
你申请一块内存，然后告诉网卡：“这块内存我要用，你帮我注册一下。” 网卡会把它锁定在物理内存里，不允许被换出到磁盘，同时记录下这块内存的物理地址和权限。
核心要点： 内存注册的本质，就是让网卡和操作系统“握手”，把虚拟地址翻译成物理地址，并锁定页面。
我个人习惯，在项目初始化阶段就把所有要用到的数据缓冲区一次性注册好。为什么？因为注册和注销操作本身是有开销的，频繁操作会影响性能。
| 概念 | 说明 |
|---|---|
| MR (Memory Region) | 注册后的内存区域，包含虚拟地址、长度、L_Key/R_Key |
| L_Key (Local Key) | 本地操作的钥匙，用于本地 DMA 操作 |
| R_Key (Remote Key) | 远端操作的钥匙，需要发给对端，用于 RDMA 读/写 |
| 注册开销 | 涉及系统调用和页表锁定，建议在连接建立阶段完成 |
我曾经踩过一个坑： 在热路径上动态注册内存，结果延迟直接飙升到几十微秒。后来改成预注册 + 内存池复用，才把延迟压回微秒级。记住，内存注册不是免费的午餐。
3.2 队列对（QP - Queue Pair）
QP 是 RDMA 通信的“灵魂”。它不是一个单独的队列，而是一对：一个发送队列（SQ），一个接收队列（RQ）。
你想想看，这就像两个人打电话。你说话（发送）和听对方说话（接收）是两条独立的通道。QP 就是这两个通道的集合体。每个 QP 都有一个唯一的编号——QP Number，用来标识通信的端点。
- Send Queue (SQ)：存放你要发送给对端的请求。
- Receive Queue (RQ)：存放你准备接收对端数据的请求。
- QP 状态机：从 Reset 到 Init，再到 RTR (Ready to Receive)，最后到 RTS (Ready to Send)。
我记得第一次调通 QP 状态机的时候，心里还挺有成就感的。状态转换必须严格按顺序来，跳一步都不行。尤其是从 RTR 到 RTS，必须等对端也准备好，否则数据就丢了。
小技巧： 调试阶段，可以用 ibv_query_qp() 查看 QP 的当前状态，确认状态机是否卡住了。这招帮我解决过不少连接问题。
3.3 完成队列（CQ - Completion Queue）
你发出去一个请求，怎么知道它执行完了？轮询？中断？CQ 就是干这个的。
CQ 是一个用来存放“完成通知”的队列。当 SQ 或 RQ 里的请求执行完毕后，网卡会往 CQ 里塞一个完成事件（CQE）。你的应用程序只需要从 CQ 里取事件，就知道哪些操作已经完成了。
说白了，CQ 就是 RDMA 的“消息信箱”。你投递了工作请求，然后去干别的事。等网卡干完了，它会往信箱里扔一封信。你回头来查信箱就行了。
- 一个 CQ 可以关联多个 QP：节省资源，但要注意处理顺序。
- 轮询 vs 事件通知：低延迟场景用轮询，CPU 敏感场景用事件通知。
- CQ 深度：设置太浅会导致完成事件丢失，太深浪费内存。
我的建议： 在延迟敏感的应用里，用轮询模式。虽然占 CPU，但能省掉中断带来的额外延迟。我曾经在一个高频交易项目里，把 CQ 轮询绑在独立 CPU 核心上，延迟稳定在 1 微秒以内。
3.4 工作请求（WR）与工作队列元素（WQE）
这两个概念经常被混在一起说，但它们的角色完全不同。
- WR (Work Request)：你作为应用程序，向网卡发出的“指令”。它是一个软件层面的结构体，描述了你要做什么操作（发送、接收、读、写等）。
- WQE (Work Queue Element)：网卡硬件内部真正执行的“任务”。当你提交 WR 后，驱动会把它翻译成 WQE，放到 QP 的硬件队列里。
你想想看，WR 是“需求”，WQE 是“执行”。你告诉网卡“我要发 1KB 数据”，这是 WR。网卡把它变成一条硬件指令，塞进 SQ 的硬件队列里，这就是 WQE。
| 操作类型 | WR 操作码 | 说明 |
|---|---|---|
| 发送 | IBV_WR_SEND | 将本地数据发送到对端 |
| 接收 | IBV_WR_RECV | 准备接收对端数据 |
| RDMA 读 | IBV_WR_RDMA_READ | 从对端内存读取数据 |
| RDMA 写 | IBV_WR_RDMA_WRITE | 向对端内存写入数据 |
| 原子操作 | IBV_WR_ATOMIC_CMP_AND_SWP | 比较并交换，用于同步 |
注意： WQE 的格式是硬件相关的。不同厂商的网卡，WQE 的布局可能不一样。所以写代码时，不要假设 WQE 的内部结构，用 Verbs API 就好。
3.5 整体流程与关系图
说了这么多，它们之间到底怎么配合的？我画了一张图，帮你理清关系。
嗯，这张图基本把整个流程串起来了。你从应用层提交一个 WR，经过驱动翻译成 WQE，放到 QP 的硬件队列里执行。执行完了，CQ 里会多一个完成事件。你轮询 CQ，拿到结果，一次 RDMA 操作就结束了。
3.6 避坑指南与实战建议
最后，我分享几个实战中容易踩的坑，希望能帮你少走弯路。
- QP 数量别乱开： 每个 QP 都会消耗硬件资源。我见过有人为每个连接都创建独立的 QP，结果网卡资源耗尽。建议根据并发度合理规划 QP 数量。
- CQ 深度要算好： CQ 深度不够，完成事件会被丢弃。我曾经在一个高吞吐场景下，CQ 深度设小了，结果丢了一堆完成事件，程序直接卡死。后来按“最大未完成 WR 数 × 1.5”来设置，再没出过问题。
- 内存注册别偷懒： 不要图省事注册超大块内存。注册粒度太粗，会导致内存浪费；太细，又增加管理开销。我一般按 2MB 或 4MB 的块来注册，性能和灵活性比较平衡。
- WR 的 sge 数组： 每个 WR 可以携带多个 sge (Scatter/Gather Element)。合理利用 sge，可以减少 WR 提交次数，提升性能。
一个小经验： 调试阶段，可以用 ibv_post_send() 和 ibv_poll_cq() 的返回值来检查错误。很多问题都是 WR 参数填错了，比如内存地址没注册、长度超了等等。多打印日志，能省不少排查时间。
好了，这一章的内容就到这儿。内存注册、QP、CQ、WR、WQE，这几个概念是 RDMA 编程的基石。你理解了它们，后面的代码实战就会顺畅很多。记住，RDMA 的精髓就是“绕过内核，直接硬件操作”。把这些概念刻在脑子里，你离 RDMA 高手就不远了。