2. 基础知识：RDMA概念、TCP/IP与RDMA对比、RoCE协议版本及特点
2.1 核心原理：RDMA 到底是什么
RDMA（Remote Direct Memory Access，远程直接内存访问）是一种允许网卡（RNIC，RDMA Network Interface Card）直接读写远端主机内存，而无需双方操作系统内核参与数据搬运的网络通信技术。传统网络通信中，数据从网卡到用户进程需要经过内核协议栈、Socket 缓冲区、多次内存拷贝；而 RDMA 通过内核旁路（Kernel Bypass）与零拷贝（Zero Copy）机制，让应用层缓冲区与远端内存直接建立数据通道。
RDMA 的核心操作模型包括三种队列：发送队列（SQ）、接收队列（RQ）和完成队列（CQ）。应用通过向 SQ 提交工作请求（WR，Work Request），网卡硬件解析后直接执行数据传输，完成后在 CQ 中产生完成事件（CQE，Completion Queue Entry）。整个过程 CPU 仅在提交请求和消费完成事件时介入，数据面完全由硬件接管。
上图中，主机 A 的应用直接通过 RNIC 将数据写入主机 B 的预注册内存区域，中间不经过任何内核 Socket 缓冲。控制面（创建队列、注册内存）仍由内核驱动完成，但数据面完全由硬件接管，这是 RDMA 低延迟（微秒级）、高带宽（100GbE+）和高 CPU 效率的根本原因。
2.2 方法流程：TCP/IP 与 RDMA 的对比
理解 RDMA 的优势，最直观的方式是与传统 TCP/IP 协议栈进行逐层对比。TCP/IP 每发送一次数据，需要经过应用→Socket→TCP→IP→驱动→网卡，接收端反向逐层解析，期间产生多次上下文切换和内存拷贝。
| 对比维度 | 传统 TCP/IP（Socket） | RDMA（以 RoCEv2 为例） |
|---|---|---|
| 数据路径 | 内核协议栈逐层处理 | 硬件直接读写内存 |
| 内存拷贝次数 | ≥2 次（内核缓冲↔用户缓冲） | 0 次（零拷贝） |
| CPU 参与度 | 每个包均触发中断与处理 | 仅提交/完成时轻量介入 |
| 典型时延（数据中心内） | 10~50 微秒 | 1~3 微秒 |
| 吞吐效率 | CPU 成为瓶颈 | 线速转发，CPU 几乎空闲 |
| 可靠传输 | 内核 TCP 重传/拥塞控制 | 硬件重传（Go-Back-N） |
从工程角度看，RDMA 并不是“更快的 TCP”，而是完全不同的数据搬运模型。TCP 的可靠性和流控由内核软件实现，而 RDMA 的可靠连接（RC，Reliable Connection）由网卡硬件完成，包括包序号管理、重传和确认。因此，RDMA 的性能不受 CPU 主频限制，而是取决于网卡处理能力和网络质量。
2.3 案例场景：RoCEv1 与 RoCEv2 的差异
RoCE（RDMA over Converged Ethernet）是 RDMA 在以太网上的实现，目前有两个主流版本，它们的封装方式和适用范围有本质区别。
RoCEv1（IB GRH over Ethernet）
- 链路层封装：在以太网二层直接封装 InfiniBand 全局路由头（GRH），
EtherType = 0x8915。 - 网络范围：只能在同一个二层广播域（VLAN）内通信，无法跨子网路由。
- 适用场景：单机柜或单一 ToR 交换机下的小规模集群。
RoCEv2（UDP/IP 封装）
- 链路层封装：将 IB 报文封装进 UDP 数据报，
目的端口号 = 4791，外层使用标准 IPv4/IPv6 头。 - 网络范围：可跨三层路由，支持 ECMP（等价多路径）负载均衡。
- 适用场景：大规模数据中心、跨机柜/跨楼宇组网，是目前 RoCE 部署的主流版本。
RoCEv2 之所以采用 UDP 封装，而不是直接使用 TCP 或 SCTP，是因为 UDP 头开销小且不携带任何状态，网卡硬件可以极快地解析和转发。RoCEv2 的可靠性不依赖 UDP（UDP 本身无可靠机制），而是由 IB 传输层（RC/UC）在硬件中实现可靠传输。UDP 端口 4791 仅作为协议标识，让交换机能够识别 RoCEv2 流量并应用优先队列。
2.4 误区与复盘：RoCE 部署中的常见认知偏差
在实际组网中，工程师对 RoCE 的误解往往导致网络设计缺陷。以下是三个高频误区：
误区一：RoCE 可以跑在普通以太网上，无需特殊配置
这是最危险的认知。RoCE 依赖无损网络（Lossless Network）才能发挥性能。标准以太网在拥塞时丢包，而 RoCE 的硬件重传机制在丢包率超过 0.1% 时吞吐会急剧下降。必须启用 PFC（优先级流控）为 RoCE 流量提供无损通道，并配合 ECN（显式拥塞通知）实现端到端拥塞控制。
误区二：RoCEv2 可以像 TCP 一样随意跨三层路由
虽然 RoCEv2 使用 IP 头可以路由，但普通路由器不会为 RoCE 流量提供无损保障。跨三层时必须确保所有中间设备（路由器、Spine 交换机）都支持 PFC 映射和 DCQCN（数据中心量化拥塞通知）等 RoCE 协同机制，否则跨子网后性能会严重劣化。
误区三：只要网卡支持 RoCE，就能自动获得高性能
RoCE 性能发挥依赖完整的生态配置：
- 网卡固件与驱动版本匹配，并开启 RoCE 模式
- 交换机 QoS 队列正确划分（通常 RoCE 流量映射到高优先级队列）
- 缓冲区大小与 PFC 门限合理设置
- 应用使用 RDMA 动词（Verbs）或支持 RDMA 的中间件（如 NCCL、UCX）
复盘一个典型故障：某集群部署 RoCEv2 后，跨机柜测试带宽仅为线速的 30%。排查发现，Spine 交换机未启用 PFC，导致拥塞时 RoCE 报文被丢弃，网卡频繁触发重传。启用 PFC 并将 RoCE 流量映射到优先级 3 后，带宽恢复至线速的 95% 以上。这说明 RoCE 的性能是“网络生态”的结果，而非单点设备的能力。
总结本章核心：RDMA 通过内核旁路与零拷贝实现极低时延；RoCEv2 是当前数据中心的主流选择，但必须配合无损以太网技术（PFC/ECN）才能发挥其设计性能。理解这些基础概念，是后续配置 RoCE 组网、调优 QoS 策略的前提。