课程导入：学习目标、RDMA技术背景、内核子系统整体架构与源码树导航
欢迎进入《Linux内核RDMA子系统源码分析》课程。本章作为整个课程体系的起点，旨在为后续深入剖析RDMA子系统打下坚实基础。我们将首先明确本课程的学习目标与预期收获，随后梳理RDMA技术的核心背景与演进脉络，接着从宏观层面解析Linux内核中RDMA子系统的整体架构，最后带领大家熟悉内核源码树中与RDMA相关的目录结构与关键文件。本章内容偏重概念框架与地图构建，后续章节将逐一深入各个功能模块的源码实现。
1.1 学习目标与课程地图
本课程的核心目标是帮助学员建立对Linux内核RDMA子系统从宏观架构到微观实现的完整认知。学完本课程后，学员应当能够：第一，理解RDMA技术的核心概念（包括队列对QP、完成队列CQ、内存注册MR、保护域PD等）及其在内核中的对应数据结构；第二，掌握RDMA子系统的主要代码路径，包括设备注册、QP状态机迁移、CQ处理、内存管理、地址处理等关键流程；第三，具备阅读和调试RDMA内核模块的能力，能够定位常见的驱动问题；第四，了解RDMA子系统与网络协议栈、块设备层、文件系统等其他内核模块的交互方式。
课程内容按照“基础架构→核心机制→协议实现→驱动分析→应用对接”的逻辑展开。前五章聚焦于子系统整体框架、设备模型、verbs API实现；中间章节深入QP/CQ/SRQ等核心对象的管理；随后分析地址处理、内存管理、多播与SMP等机制；最后结合具体驱动（如mlx5、hns）和上层协议（如NVMe-oF、SRP）进行实战剖析。
学习建议：本课程需要读者具备一定的C语言基础、Linux内核编程经验（至少熟悉内核模块编写、链表操作、并发同步原语），并对计算机网络基本概念（TCP/IP、以太网帧格式）有所了解。建议在学习过程中同步准备一份内核源码（推荐5.15 LTS或6.x版本），并搭建一个可用的RDMA实验环境（可使用Soft-RoCE（RXE）模拟，无需真实硬件）。
1.2 RDMA技术背景与演进
RDMA（Remote Direct Memory Access）是一种允许应用程序直接访问远程主机内存而无需远程CPU参与的网络通信技术。其核心优势在于：零拷贝（数据直接在应用缓冲区与网卡之间传输）、内核旁路（数据路径不经过内核协议栈）、低延迟（微秒级甚至亚微秒级延迟）以及低CPU占用率。RDMA最初由InfiniBand架构实现，后来逐渐扩展到以太网（RoCE）和TCP/IP（iWARP）环境。
从技术演进看，RDMA经历了三个主要阶段：第一阶段是InfiniBand原生架构，定义了完整的硬件、链路层、网络层和传输层协议；第二阶段是RoCE（RDMA over Converged Ethernet），将RDMA承载于以太网之上，RoCEv1在二层运行，RoCEv2则通过UDP/IPv4或IPv6在三层运行，增强了路由能力；第三阶段是iWARP，将RDMA语义映射到TCP协议栈之上，虽然性能略逊于RoCE，但兼容性更好。近年来，随着AI大模型分布式训练和高性能存储系统的需求爆发，RoCEv2凭借其成本优势和良好的扩展性成为主流选择。
| 特性 | InfiniBand | RoCEv2 | iWARP |
|---|---|---|---|
| 承载网络 | 专用IB网络 | 以太网（UDP/IP） | TCP/IP |
| 延迟 | 最低（亚微秒） | 低（1-3微秒） | 较高（5-10微秒） |
| CPU卸载 | 完全卸载 | 大部分卸载 | 部分卸载 |
| 拥塞控制 | IB专用机制 | DCQCN / ECN | TCP拥塞控制 |
| 内核支持 | 完整支持 | 完整支持 | 支持（驱动较少） |
| 典型场景 | HPC、超算 | AI训练、分布式存储 | 传统数据中心 |
在Linux内核中，RDMA子系统位于drivers/infiniband/目录下，同时核心代码也涉及include/rdma/、include/uapi/rdma/等头文件目录。内核通过统一的verbs接口向上层应用提供标准API，向下通过驱动适配不同厂商的硬件设备。这种分层设计使得上层应用无需关心底层硬件差异，也使得新硬件的接入变得相对简单。
1.3 内核RDMA子系统整体架构
Linux内核RDMA子系统采用分层架构设计，从下到上依次为：硬件驱动层、核心层（ib_core）、用户态接口层（ib_uverbs）、协议栈层以及上层应用协议模块。每一层都有明确的职责边界和接口约定。
硬件驱动层负责直接管理RDMA硬件设备，包括设备初始化、中断处理、DMA操作、队列对状态机执行等。每个驱动需要实现struct ib_device所定义的一组操作函数指针，例如create_qp、modify_qp、post_send、post_recv、poll_cq等。常见的驱动包括mlx5（Mellanox/NVIDIA）、hns（华为）、qedr（Marvell）、irdma（Intel）以及软驱动rxe和siw。
核心层（ib_core）是子系统的中枢，负责设备管理、verbs API实现、事件分发、多播管理、SMA（Subnet Management Agent）等。核心层维护了系统中所有RDMA设备的全局列表，并向上层提供统一的verbs调用接口。核心层还实现了ib_register_device、ib_alloc_device等设备生命周期管理函数，以及ib_create_qp、ib_destroy_qp等对象管理函数。
用户态接口层（ib_uverbs）通过字符设备（如/dev/infiniband/uverbs0）向用户态提供verbs API的访问入口。用户态libibverbs库通过ioctl或write系统调用将verbs命令传递给内核，内核解析命令后调用核心层或驱动层的相应函数。该层还负责管理用户态mmap区域，用于映射硬件队列、doorbell寄存器等资源。
协议栈层包括地址处理（cma）、连接管理（cm）、子网管理（sma/mad）等模块。其中cma（Connection Management Agent）实现了RDMA CM协议，支持建立QP连接的主动/被动端流程；mad（Management Datagram）模块处理InfiniBand管理报文，用于子网发现和配置。
上层应用协议模块包括IPoIB（IP over InfiniBand）、SRP（SCSI RDMA Protocol）、iSER（iSCSI Extension for RDMA）、NVMe-oF（NVMe over Fabrics）等。这些模块将RDMA能力封装为标准的网络接口或块设备接口，使得上层应用可以透明地使用RDMA加速。
架构理解要点：RDMA子系统的核心设计思想是“统一verbs接口+可插拔驱动”。无论底层是InfiniBand、RoCE还是iWARP，上层看到的都是相同的verbs API。这种抽象使得应用程序可以跨厂商、跨协议运行。在阅读源码时，建议从include/rdma/ib_verbs.h开始，这个头文件定义了所有核心数据结构和操作函数原型。
1.4 源码树导航与关键文件
Linux内核源码中与RDMA相关的目录和文件分布较为集中，主要位于以下几个位置：
drivers/infiniband/：RDMA子系统主目录，包含核心模块、驱动、协议栈等子目录。include/rdma/：内核态RDMA头文件，定义了核心数据结构和API。include/uapi/rdma/：用户态可见的RDMA头文件，包括verbs命令格式、ib_user_verbs.h等。drivers/net/ethernet/mellanox/mlx5/：mlx5网卡驱动，同时包含RDMA相关实现。drivers/infiniband/hw/：各厂商硬件驱动子目录。drivers/infiniband/sw/：软件模拟驱动（rxe、siw）。
下面以表格形式列出关键目录和文件的功能说明：
| 路径 | 功能说明 | 关键文件 |
|---|---|---|
| drivers/infiniband/core/ | 核心模块，实现设备管理、verbs API、事件处理 | ib_device.c、ib_verbs.c、ib_uverbs_main.c、ib_cm.c |
| drivers/infiniband/hw/mlx5/ | Mellanox/NVIDIA ConnectX系列驱动 | main.c、qp.c、cq.c、mr.c |
| drivers/infiniband/hw/hns/ | 华为海思RDMA驱动 | hns_roce_main.c、hns_roce_qp.c |
| drivers/infiniband/sw/rxe/ | Soft-RoCE软件驱动，用于模拟RoCE | rxe.c、rxe_qp.c、rxe_net.c |
| drivers/infiniband/ulp/ipoib/ | IP over InfiniBand协议 | ipoib_main.c、ipoib_verbs.c |
| drivers/infiniband/ulp/srp/ | SCSI RDMA Protocol | srp_main.c |
| include/rdma/ | 内核态头文件 | ib_verbs.h、ib_cm.h、ib_mad.h |
| include/uapi/rdma/ | 用户态头文件 | ib_user_verbs.h、rdma_user_cm.h |
在开始阅读源码之前，建议先熟悉ib_verbs.h中的核心数据结构。最重要的几个结构体包括：struct ib_device（表示一个RDMA设备）、struct ib_qp（队列对）、struct ib_cq（完成队列）、struct ib_mr（内存区域）、struct ib_pd（保护域）。这些结构体贯穿整个子系统的所有功能模块，理解它们的字段含义和相互关系是后续分析的基础。
1.5 案例拆解：从零开始搭建Soft-RoCE实验环境
为了帮助学员快速上手实践，这里演示如何在一台普通的x86 Linux服务器上搭建Soft-RoCE（RXE）实验环境。Soft-RoCE是内核自带的软件RDMA实现，不需要特殊硬件即可模拟RoCE功能，非常适合学习调试。
环境要求：内核版本4.16以上（推荐5.15+），需要加载rdma_rxe模块，系统需要安装iproute2（提供rdma命令）和libibverbs-utils（提供ibv_devinfo等工具）。
操作步骤：
- 检查内核是否支持RXE：
modinfo rdma_rxe，如果显示模块信息则说明支持。 - 加载模块：
modprobe rdma_rxe，同时确保ib_uverbs和ib_core模块已加载。 - 创建一个网络接口用于承载RDMA流量（例如使用veth或直接使用物理网卡）：
ip link add rxe0 type dummy（或使用现有接口）。 - 将网络接口绑定到RXE设备：
rdma link add rxe0 type rxe netdev eth0（假设使用eth0）。 - 验证设备是否创建成功：
rdma link show，应能看到rxe0设备。 - 使用
ibv_devinfo查看设备详情，确认端口状态为ACTIVE。
# 示例命令序列
modprobe rdma_rxe
ip link add rxe0 type dummy
ip link set rxe0 up
rdma link add rxe0 type rxe netdev rxe0
rdma link show
ibv_devinfo -d rxe0常见问题与排查：如果rdma link add失败，检查内核是否编译了CONFIG_RDMA_RXE选项；如果ibv_devinfo无法看到设备，确认/dev/infiniband/目录下是否有uverbs设备节点；如果端口状态为DOWN，检查绑定的网络接口是否处于UP状态。
注意事项：Soft-RoCE的性能远低于真实硬件，仅适用于功能验证和代码学习。在测试QP通信时，建议使用ib_write_bw或ib_send_bw等perftest工具，但不要期望获得硬件级别的吞吐量。另外，RXE不支持某些高级特性（如SR-IOV、硬件卸载），这些特性只能在真实硬件上验证。
1.6 常见误区与学习复盘
在学习RDMA子系统的过程中，初学者容易陷入以下几个误区：
- 误区一：将RDMA等同于InfiniBand。实际上RDMA是一种技术语义，InfiniBand只是其最初的载体。RoCE和iWARP同样实现了RDMA语义，且在现代数据中心中更为常见。
- 误区二：认为RDMA完全不需要内核参与。虽然数据路径可以绕过内核，但控制路径（设备管理、QP建立、内存注册等）仍然需要内核参与。内核旁路指的是数据面旁路，而非控制面旁路。
- 误区三：混淆QP状态与TCP连接状态。QP状态机（RESET→INIT→RTR→RTS等）与TCP状态机完全不同，QP没有三次握手和四次挥手的概念，其状态转换由修改QP属性（modify_qp）操作驱动。
- 误区四：忽视内存注册的重要性。RDMA要求内存区域在通信前必须注册（注册后获得lkey/rkey），且注册的内存不能随意释放。许多初学者在编写RDMA程序时忘记注册内存或错误地释放了已注册的内存，导致通信失败。