1. 课程导入：RDMA技术背景、应用场景、学习路径与课程目标
1.1 为什么需要RDMA：从CPU搬运工到硬件卸载
传统TCP/IP网络通信中，一次数据接收需要经过网卡→内核协议栈→用户态缓冲区多次拷贝，CPU需要参与每一包数据的校验、分段、重组和内存搬运。以10Gbps网络为例，满速收包时CPU占用率往往超过60%，大量算力被浪费在“搬运数据”而非“处理数据”上。随着数据中心从100Gbps向400Gbps演进，这种“以CPU为核心的网络栈”已成为性能瓶颈。
RDMA（Remote Direct Memory Access，远程直接内存访问）的核心思想是：让网卡硬件绕过内核，直接读写对端主机的内存区域。数据从应用缓冲区到对端应用缓冲区，全程不需要CPU参与数据拷贝，也不需要双方操作系统的上下文切换。这种“零拷贝、内核旁路、CPU卸载”的设计，使得单连接吞吐可达线速，延迟低至微秒级。
关键认知：RDMA不是一种新的物理链路，而是一种新的数据传输语义。它仍然运行在以太网（RoCEv2）或InfiniBand物理链路上，但改变了数据从应用到网卡的路径——由“软件协议栈”变为“硬件卸载引擎”。
1.2 RDMA技术家族：InfiniBand、RoCEv2与iWARP
RDMA并非单一技术标准，而是三种主流实现的总称。理解它们的差异，是选择硬件和调优的前提。
| 特性 | InfiniBand | RoCEv2 | iWARP |
|---|---|---|---|
| 物理层 | 专用IB链路（需IB交换机） | 标准以太网（需支持RoCE的网卡） | 标准以太网 |
| 网络层 | IB自有网络层 | UDP/IP（可路由） | TCP/IP |
| 传输层 | IB传输协议 | UDP + RoCE头 | TCP |
| 延迟（典型） | 0.8~1.2μs | 1.5~3μs | 3~5μs |
| 部署成本 | 最高（专用网络） | 中（复用以太网） | 中低 |
| 市场主流 | HPC超算 | 数据中心/云（最广泛） | 较少见 |
选型建议：本课程以RoCEv2为主线，因为它在数据中心中部署最广、成本可控，且调优空间最大。InfiniBand的调优思路与RoCEv2高度相通，掌握RoCEv2后迁移成本很低。
1.3 典型应用场景：RDMA在哪里发挥价值
RDMA的价值体现在“高吞吐、低延迟、低CPU占用”三个维度。以下场景对这三项指标有极致要求：
- 分布式存储（NVMe-oF）：存储节点间数据复制、副本同步，要求高带宽低延迟。典型如Ceph、GlusterFS后端网络。
- 高性能计算（HPC）：MPI并行计算中的集合通信（AllReduce、Broadcast），延迟直接决定大规模集群的并行效率。
- AI/ML分布式训练：GPU间梯度同步（NCCL），在千卡集群中，网络延迟每增加1μs，训练效率可能下降数个百分比。
- 数据库与缓存：分布式数据库日志复制、内存缓存（如Redis Cluster）的跨节点访问。
- 金融极速交易：行情分发、订单路由，微秒级延迟直接转化为交易优势。
核心判断标准：如果应用对延迟敏感（<10μs）或需要线速吞吐且CPU资源紧张，RDMA就是刚需；如果只是普通Web服务或离线批处理，传统TCP/IP可能更合适。
1.4 学习路径：从基础到全链路调优
RDMA调优不是单一环节的优化，而是从硬件选型→驱动配置→网络规划→应用适配→性能测试→故障排查的全链路系统工程。本课程30章按以下阶段组织：
- 基础认知（第1~5章）：RDMA原理、协议栈、硬件架构、核心概念（QPair、MR、CQ等）。
- 环境搭建（第6~10章）：网卡/交换机选型、驱动安装、固件升级、子网管理器配置。
- 网络调优（第11~15章）：流控（PFC）、ECN、拥塞控制算法、路由规划、MTU/缓冲区调优。
- 应用适配（第16~20章）：Verbs API编程、libibverbs、常见中间件（NCCL、MPI、存储）的RDMA对接。
- 性能测试与诊断（第21~25章）：perftest工具、带宽/延迟测试方法、性能瓶颈定位。
- 高级排障与案例（第26~30章）：丢包定位、PFC死锁、多路径问题、真实生产环境故障复盘。
1.5 课程目标与前置要求
完成本课程后，你将能够：
- 独立完成RoCEv2网络的部署与基础配置；
- 使用perftest、ibstat、ethtool等工具进行性能基准测试；
- 识别并解决RDMA网络中的丢包、延迟异常、CPU占用过高等问题；
- 针对存储、AI训练等场景进行端到端调优，使吞吐和延迟达到硬件规格的90%以上。
前置要求：需要具备Linux系统管理基础（网络配置、内核参数）、基本网络知识（TCP/IP、以太网帧结构），以及至少一台支持RoCEv2的网卡（Mellanox/ConnectX系列或华为Hi1822等）和对应的交换机。纯软件模拟环境无法完整体验RDMA特性。
1.6 常见误区与学习建议
初学者容易陷入以下误区，需要提前规避：
- 误区一：认为RDMA“插上就能用”。实际上RoCEv2需要交换机配合开启PFC/ECN，否则高负载下必然丢包。
- 误区二：只关注网卡参数，忽略CPU亲和性、NUMA拓扑、PCIe通道宽度对性能的影响。
- 误区三：用iperf测试RDMA性能。iperf走TCP协议栈，无法反映RDMA真实能力，必须使用perftest中的ib_write_bw等工具。
- 误区四：忽略拥塞控制。RoCEv2在无损网络下依赖PFC，但PFC本身可能引发死锁，需要结合ECN和DCQCN算法综合调优。
建议学习过程中准备一台实验机，跟随每章操作。RDMA调优是“手脑并用”的技能，只有亲手配置过流控、亲眼观察过计数器变化，才能真正理解原理与现象之间的关联。每章末尾的故障案例和复盘，建议先自己分析原因，再对照解决方案，这样能更快建立排障直觉。