📚 课程目录第3章内存注册原理

3. 内存注册原理：内存注册的必要性、注册过程、内存区域与访问权限

3.1 为什么必须注册内存：从DMA的“物理连续”困境说起

RDMA之所以能实现“零拷贝”高性能网络传输，核心在于网卡上的DMA引擎能够绕过CPU和内核，直接访问用户态应用程序的内存缓冲区。然而，这里存在一个根本性的矛盾：应用程序看到的是虚拟地址，而DMA引擎操作的是物理地址。操作系统为了管理内存，会将进程的虚拟内存页面在物理内存中任意放置，甚至可能被换出到磁盘。如果网卡直接使用用户提供的虚拟地址去发起DMA，它根本不知道这些虚拟页面对应哪块物理内存，也无法保证这些页面在传输过程中不会被操作系统回收或迁移。

更关键的是，许多网卡DMA引擎要求物理内存页必须连续，或者至少需要一张“物理页号列表”才能完成多次散列传输。而用户态的缓冲区往往只是虚拟地址连续，物理页却分散在各处。因此，在发起RDMA操作之前，必须通过内存注册（Memory Registration）机制，完成以下三件事：

锁定内存页（Pin Down）：将缓冲区涉及的物理页锁定在内存中，防止被操作系统换出（swap）或移动，保证DMA全程安全访问。
建立虚拟地址到物理地址的映射表：网卡需要知道每个虚拟页对应的物理页号（或直接获得连续的物理地址），才能正确编程DMA描述符。
声明访问权限：明确该内存区域允许本地读/写、远程读/写等操作，供远端节点校验，防止非法访问。

类比理解： 内存注册类似于酒店前台为住客办理“房卡授权”。你告诉前台（内核）你将要使用哪些房间（内存页），前台将这些房间临时锁定（Pin），并记录你的权限（可读/可写）。之后你（网卡）就可以凭这张房卡（L_Key/R_Key）直接进入房间，而无需每次都由服务员（CPU）陪同开门。

3.2 注册过程详解：从用户调用到硬件就绪

以最常见的InfiniBand Verbs API为例，一次完整的内存注册流程涉及用户态、内核态、网卡固件三者的协作。下图展示了这一过程中的关键步骤与对象关系：

上述流程可归纳为以下四个关键步骤：

调用注册接口：用户调用 ibv_reg_mr()，传入pd（保护域）、起始虚拟地址、长度及访问权限标志。
内核锁定与映射：内核执行 get_user_pages() 遍历缓冲区涉及的每个虚拟页，将其锁定并建立物理页映射。此过程可能因内存不足或页数过多而耗时较长。
网卡硬件配置：驱动将物理页列表和权限标志写入网卡的内存翻译表（MTT），网卡据此生成两个键值——lkey（本地键）和rkey（远程键）。
返回用户句柄：内核将封装好的 ibv_mr 结构体返回给用户，其中包含 lkey 和 rkey。后续所有 RDMA 操作（如 ibv_post_send）都必须引用该结构体中的键值。

3.3 内存区域与访问权限：lkey 与 rkey 的角色分工

注册完成后，网卡为每块内存区域分配两个关键标识：lkey（Local Key） 和 rkey（Remote Key）。它们虽然都指向同一块物理内存，但使用场景截然不同：

键类型	使用方	典型操作	权限校验点
lkey	本节点	本地 `RDMA_WRITE` 的源缓冲区、`RDMA_READ` 的目的缓冲区、`Send` 操作的源数据	发送请求时，网卡校验 lkey 是否与本地注册区域匹配
rkey	远端节点	远端发起的 `RDMA_WRITE`（写入本端）、`RDMA_READ`（读取本端）	远端网卡收到请求时，校验 rkey 是否有效且权限允许

访问权限标志在注册时通过 ibv_access_flags 指定，常见组合如下：

struct ibv_mr *mr = ibv_reg_mr(pd,
                               buf,           // 起始虚拟地址
                               size,          // 缓冲区长度
                               IBV_ACCESS_LOCAL_WRITE |
                               IBV_ACCESS_REMOTE_WRITE |
                               IBV_ACCESS_REMOTE_READ);
if (!mr) {
    // 注册失败处理
}

IBV_ACCESS_LOCAL_WRITE：允许本端 CPU 或网卡对该区域进行写操作。若未设置，则只能读。
IBV_ACCESS_REMOTE_WRITE：允许远端节点通过 rkey 向该区域写入数据。这是 RDMA 写操作的基础。
IBV_ACCESS_REMOTE_READ：允许远端节点通过 rkey 读取该区域数据。
IBV_ACCESS_REMOTE_ATOMIC：允许远端执行原子操作（如 compare-and-swap）。

安全警示： 切勿将 rkey 随意分发给不可信节点。拥有 rkey 的节点可以直接读写你的内存，等同于获得了该内存区域的“完全控制权”。在生产环境中，建议为不同缓冲区注册独立的 mr，并仅授予最小必要权限。

3.4 典型场景与常见误区

场景：多线程共享内存池的注册策略

在高并发服务器中，通常预分配一块大内存池并一次性注册，而非每次请求都动态注册。例如：

// 初始化时注册 64MB 内存池
char *pool = malloc(64 * 1024 * 1024);
struct ibv_mr *pool_mr = ibv_reg_mr(pd, pool, 64*1024*1024,
                                    IBV_ACCESS_LOCAL_WRITE |
                                    IBV_ACCESS_REMOTE_WRITE);
// 后续线程从池中分配子区域，使用同一个 lkey/rkey

这种方式避免了频繁系统调用，但需注意：池中所有子区域共享同一权限，若某个子区域需要更严格的隔离，则必须单独注册。

误区与复盘

误区1：注册后修改缓冲区内容无需重新注册

只要不改变缓冲区起始地址和长度，修改内容无需重新注册。但若使用 realloc() 或 mprotect() 改变了映射属性，则原 mr 立即失效，必须注销后重新注册。

误区2：忽略内存对齐要求

部分网卡要求注册缓冲区起始地址按页大小（通常 4KB）对齐。若不对齐，注册可能失败或性能骤降。建议使用 posix_memalign() 分配页对齐内存。

误区3：注销时机不当导致内存泄漏

调用 ibv_dereg_mr() 后，内核才会解除页面锁定。若忘记注销，会导致物理页一直被占用，最终耗尽系统内存。务必在释放缓冲区之前注销 mr。

性能复盘：注册开销的量化认知

一次内存注册涉及系统调用、页表遍历和网卡固件交互，通常耗时数十微秒。在 QP（队列对）建立初期频繁注册会显著增加连接建立延迟。优化建议：

使用 预注册 + 内存池 模式，避免运行时注册。
若必须动态注册，考虑使用 ODP（On-Demand Paging） 技术，允许按需分页，减少锁定开销。
批量注册多个缓冲区时，使用 ibv_reg_mr_iova2() 等批量接口减少用户态-内核态切换次数。

理解内存注册的本质，是掌握 RDMA 编程模型的关键一步。它不仅是性能优化的起点，更是保障内存安全与数据一致性的基石。在实际开发中，务必结合具体硬件特性与业务场景，设计合理的注册与权限管理策略。