1. 课程导入：学习目标、课程大纲、RoCE技术背景与延迟优化的重要性

1.1 为什么端侧延迟是RoCE网络的“最后一公里”

RoCE（RDMA over Converged Ethernet，融合以太网上的远程直接内存访问）自诞生以来，一直被视为替代InfiniBand、在通用以太网基础设施上实现高性能RDMA的关键技术。然而，许多工程师在部署RoCEv2时都会遇到一个典型困惑：交换机的转发时延已经低至亚微秒级，但端到端应用的感知延迟却依然高达数十微秒甚至上百微秒。问题往往不在网络中间路径，而恰恰出在服务器端——网卡驱动、中断处理、内存注册、拥塞控制参数调优以及CPU调度等环节。

本课程聚焦于RoCE端侧（Host Side）延迟优化，即从应用程序发出读写请求，到数据经过RDMA网卡（RNIC）完成传输并返回确认的完整软件与硬件协同路径。我们将系统梳理端侧延迟的构成要素，并给出可落地、可量化的优化手段。

1.2 学习目标与课程大纲

完成本课程后，你将能够：

• 定位延迟瓶颈：使用perf、ethtool、rdma-core工具链，量化端侧延迟中软件开销、硬件排队、中断延迟各自占比。
• 优化软件路径：通过CPU隔离、中断亲和性、busy-polling、内核bypass等手段，将单次RDMA Write操作的端到端延迟降低至2~3微秒以内。
• 调优硬件参数：正确配置队列深度（QP Size）、完成队列（CQ）中断合并、PCIe带宽与延迟权衡，避免过度调优导致吞吐下降。
• 规避常见陷阱：识别并解决PFC死锁、内存注册缓存失效、NUMA跨节点访问等隐蔽问题。

下表给出了本课程30章的核心模块划分，帮助你在学习过程中建立整体框架：

1.3 RoCE技术背景：从InfiniBand到融合以太网

RoCE的核心思想是将InfiniBand的传输层协议（包括可靠连接RC、不可靠数据报UD等）直接封装在以太网帧中，从而复用成熟的以太网物理层和交换设备。RoCEv1在二层以太网中运行（需要无损网络），而RoCEv2则使用UDP/IP封装（目的端口4791），实现了三层路由能力，但也因此引入了对ECMP、拥塞控制等机制的更高要求。

从端侧视角看，一次典型的RoCEv2 Write操作需要经历以下路径：

1. 应用程序调用ibv_post_send()，将工作请求（WR）提交到发送队列（SQ）。
2. RDMA网卡（RNIC）通过PCIe DMA读取内存中的数据缓冲区。
3. 网卡硬件执行数据封装（添加BTH、UDP、IP、以太网头），并通过MAC/PHY发送到链路。
4. 接收端网卡解析报文，将数据直接DMA写入目标内存（无需CPU参与）。
5. 接收端生成完成队列元素（CQE），通知应用程序（通过中断或轮询）。

上述路径中，步骤1和步骤5的软件开销往往占据端到端延迟的60%~70%。这正是本课程重点优化的对象。

上图展示了一次典型RoCEv2写操作在无拥塞、无重传情况下的延迟分解。可以看到，发送端软件路径（1.8µs）与接收端软件路径（2.0µs）合计3.8µs，占总延迟的65.5%。这些软件开销主要来自系统调用、队列操作、内存屏障、中断处理与上下文切换。后续章节将逐一拆解并优化这些环节。

1.4 延迟优化的重要性：不只是“快一点”

在AI分布式训练场景中，AllReduce集合通信操作对延迟极其敏感。以128台GPU服务器为例，每轮梯度同步若延迟增加5µs，在1000轮迭代中就会累积50ms的额外等待时间。而在高频交易场景，端侧延迟每降低1µs，意味着在同一时间内可以多完成数百次套利判断。更关键的是，端侧延迟优化往往能同时改善CPU利用率与功耗——通过减少忙轮询和中断唤醒，CPU可以处理更多业务逻辑。

1.5 端侧延迟优化的核心方法论

本课程遵循“测量→定位→优化→验证”的闭环方法论。每个优化动作都必须有可量化的延迟数据支撑。推荐的初始测量工具组合如下：

# 查看网卡固件与驱动版本
ethtool -i enp175s0f0

# 查看RoCE模式与队列深度
rdma link show

# 使用ib_write_lat进行基础延迟测试（需安装perftest）
ib_write_lat -d mlx5_0 -i 1 -s 64 -t 1 -n 10000

# 使用perf分析软件路径热点
perf record -g -e cycles:u ./your_rdma_app
perf report --stdio

在后续章节中，我们将深入讲解如何解读这些工具的输出，并建立一套从网卡寄存器到应用程序函数的完整延迟追踪链。