1. 课程导入：学习目标、课程结构、RoCE技术概述与应用场景

1.1 为什么需要深度调优 RoCE 网卡参数

RoCE（RDMA over Converged Ethernet，融合以太网上的远程直接内存访问）技术正在重塑数据中心高性能计算的网络格局。它允许应用程序在无需 CPU 参与数据复制的情况下，直接在网卡与内存之间传输数据，从而将时延降低到微秒级、释放 CPU 算力。然而，RoCE 的“开箱即用”体验往往并不理想——默认参数在真实业务负载下可能造成丢包、PFC 死锁、吞吐震荡等问题。这正是本课程存在的核心价值：通过系统化、可验证的网卡参数调优，让 RoCE 网络在 IB（InfiniBand）级性能与以太网经济性之间取得最佳平衡。

本课程面向数据中心网络运维工程师、存储系统工程师、HPC 集群管理员以及云基础设施开发者。课程不局限于“改哪个值”，而是建立从原理认知 → 参数映射 → 实验验证 → 故障复盘的完整闭环能力。

1.2 学习目标与课程结构

完成本课程后，你将能够：

• 解释 RoCE v1/v2 的报文封装差异，以及 PFC、ECN、DCQCN 在端到端流控中的协同关系。
• 定位并修改 20+ 个关键网卡参数，涵盖中断合并、Ring Buffer、MTU、流控模式、ECN 水位、PFC 优先级映射等。
• 使用 ibstat、ethtool、rdma-ping、perftest 等工具量化调优效果，区分“参数生效”与“性能提升”的因果关系。
• 诊断典型故障：PFC 死锁、ECN 标记过度、RoCE 跨交换机拥塞等，并给出参数级解决方案。

课程共 30 章，分为五个阶段，结构如下表所示：

1.3 RoCE 技术概述：从 IB 到以太网的演进

RDMA 最初由 InfiniBand 架构实现，提供高带宽、低时延和可靠的传输。但 IB 网络需要专用交换机与线缆，成本高昂。RoCE 的核心思想是将 RDMA 数据包封装在以太网帧中传输，从而复用现有以太网基础设施。RoCE 有两个主要版本：

• RoCE v1：直接在以太网链路层封装 IB 数据包， EtherType 为 0x8915。只能在同一个二层广播域内通信，无法跨 VLAN 或子网。
• RoCE v2：将 IB 数据包封装在 UDP/IP 中（目标端口 4791），支持三层路由，可跨子网部署。这是当前数据中心的主流选择。

RoCE 的可靠传输依赖底层网络不丢包。为此，RoCE 网络通常启用优先级流控（PFC，Priority Flow Control）：当接收端缓冲区即将溢出时，发送 PFC 暂停帧，让发送端停止发送特定优先级的数据。同时，显式拥塞通知（ECN）与 DCQCN（Data Center Quantized Congestion Notification） 算法配合，在拥塞加剧前动态调整发送速率，避免 PFC 频繁触发。

下图展示了 RoCE v2 在典型数据中心中的报文路径与关键交互节点：

上图揭示了 RoCE 调优的三个关键平面：数据平面（蓝色实线）负责实际数据传输；控制平面（橙色虚线）通过 PFC 帧实现逐跳无损；反馈平面（绿色虚线）通过 ECN 标记与 CNP（拥塞通知包）实现端到端速率调整。网卡参数调优的本质，就是调整这三个平面的触发阈值、响应速度与恢复行为。

1.4 典型应用场景与调优诉求

RoCE 在不同场景中的性能瓶颈差异巨大，调优侧重点也截然不同：

1.5 调优前的基线采集与误区复盘

在修改任何参数之前，必须先建立性能基线。建议至少采集以下数据：

# 查看 RoCE 网卡状态（链路层）
ibstat

# 查看网卡当前参数（以 mlx5 驱动为例）
ethtool -a enp175s0f0          # 流控参数
ethtool -c enp175s0f0          # 中断合并参数
ethtool -g enp175s0f0          # Ring Buffer 大小

# 查看 RoCE 专用计数器（丢包、ECN 标记数）
rdma statistic show link mlx5_0/1

# 运行基础带宽测试（需安装 perftest）
ib_write_bw -d mlx5_0 -x 3 -F 192.168.1.1

一个典型的调优失败案例是：工程师发现网络出现少量丢包，立即将 PFC 缓冲区调至最大，结果虽然丢包消失，但PFC 死锁导致所有优先级流量时延飙升。复盘结论是：丢包根源是 ECN 标记阈值过高导致 DCQCN 降速不及时，而非缓冲区不足。正确的调优顺序应为：先调整 ECN 水位 → 再调整 DCQCN 速率恢复参数 → 最后才考虑增加 PFC 缓冲区。