4. 硬件与驱动

RoCE（RDMA over Converged Ethernet）的性能上限，首先由物理硬件决定，其次由驱动与固件的配置质量决定。很多调优案例中，问题并非出在协议栈或拥塞控制，而是网卡本身不支持某些卸载特性、固件存在缺陷、驱动参数使用了默认值，导致本该由硬件完成的工作被抛给 CPU，造成延迟飙升和吞吐抖动。因此，在进入软件调优之前，必须先完成硬件选型、固件升级、驱动安装与基础参数校准这一“地基工程”。

4.1 核心原理：硬件卸载能力决定 RoCE 性能天花板

RoCE 与传统 TCP 的最大区别在于，它要求网卡具备完整的 RDMA 卸载能力。当数据包进入网卡后，硬件需要直接完成：数据包解析、DMA 写入用户态内存、完成队列（CQ）事件生成、以及可选的拥塞控制（DCQCN）时间戳计算。如果网卡不支持这些卸载，驱动就会退化为“软件模拟 RDMA”，即用普通以太网队列 + CPU 中断来模拟 Verbs 语义，此时延迟会从 1~2 微秒恶化到 10 微秒以上，吞吐也会因 CPU 瓶颈而大幅下降。

因此，选型时需关注以下关键能力：

• RoCE 版本支持：必须支持 RoCE v2（UDP/IP 封装），仅支持 v1 的网卡无法跨三层组网。
• 拥塞控制协议：优先选择支持 DCQCN（针对无损以太网）或 Swift（针对有损网络）的网卡，否则只能依赖静态流控。
• 卸载特性：检查是否支持 NVGRE/VXLAN 卸载、TCP 分段卸载（TSO）、接收侧哈希（RSS）、以及关键的 RDMA 卸载（包括内存注册、地址转换、完成队列中断聚合）。
• PCIe 通道数：100GbE 网卡至少需要 PCIe 3.0 x16 或 PCIe 4.0 x8，否则 PCIe 带宽会成为瓶颈。

4.2 固件升级：修复已知缺陷与性能回退问题

网卡固件（NIC Firmware）控制着硬件底层逻辑，包括拥塞控制引擎、PCIe 链路管理、以及 RoCE 状态机。厂商会定期发布固件更新，修复可能导致 PFC 死锁、CQ 溢出或错误丢包的问题。例如，某主流网卡早期固件在启用 PFC 时，若收到 3 个以上优先级暂停帧，会错误地触发链路重协商，导致 RoCE 流量中断数秒。此类问题只能通过固件升级解决，驱动参数无法规避。

固件升级的标准流程如下：

1. 确认当前版本：使用厂商工具查询（如 Mellanox 的 mlxup 或 flint）。
2. 下载匹配固件：必须与网卡型号、OEM 版本严格匹配，避免跨分支升级。
3. 维护窗口操作：固件升级会重置网卡，所有 RoCE 连接将中断，需提前通知业务方。
4. 升级后验证：检查固件版本、PCIe 链路速率、以及 RoCE 计数器是否正常。

# 以 Mellanox 网卡为例，查询当前固件版本
flint -d /dev/mst/mt4103_pciconf0 q

# 升级固件（需在维护窗口执行）
mlxup -i /path/to/fw-xx.x.x.bin

4.3 驱动安装与参数校准：ring buffer 与中断合并

驱动是硬件与内核之间的翻译层。对于 RoCE，驱动不仅提供 Verbs 接口，还负责管理硬件队列、中断映射和内存注册缓存。安装驱动时，需注意：

• 使用厂商官方驱动，而非内核自带通用驱动（如 mlx5_core 需与 OFED 版本匹配）。
• 编译安装后，使用 modinfo 验证版本，并检查 dmesg 中是否有固件版本不匹配的警告。

驱动安装完成后，最重要的两个性能参数是 ring buffer 大小和中断合并（interrupt coalescing）。

4.3.1 Ring Buffer（环形队列）

Ring buffer 是网卡与驱动之间传递数据包的环形缓冲区。对于 RoCE 流量，接收队列（RX ring）的大小直接影响在高并发小包场景下的丢包率。若 ring buffer 过小，当 CPU 来不及处理时，新到达的 RoCE 数据包会被硬件丢弃，触发重传，导致吞吐骤降。但 ring buffer 并非越大越好：过大会占用大量内存，并可能增加缓存未命中延迟。

# 查看当前 ring buffer 大小（以 Mellanox 为例）
ethtool -g eth0

# 调整 RX/TX ring buffer 大小（建议 4096 或更高）
ethtool -G eth0 rx 4096 tx 4096

4.3.2 中断合并（Interrupt Coalescing）

中断合并控制着网卡在收到数据包后，是立即触发中断通知 CPU，还是等待积累一定数量或超时后再通知。对于 RoCE 延迟敏感型流量，过度的中断合并会引入额外延迟；但对于吞吐密集型流量，合理的中断合并能显著降低 CPU 占用。推荐使用动态中断合并（adaptive coalescing），让驱动根据当前流量模式自动调整。

# 启用自适应中断合并
ethtool -C eth0 adaptive-rx on adaptive-tx on

# 手动设置合并参数（延迟单位：微秒）
ethtool -C eth0 rx-usecs 8 tx-usecs 8

4.4 案例：多路 RoCE 网卡驱动参数配置实战

某存储集群使用 4 张 100GbE RoCE 网卡，连接 2 台存储服务器。初始配置时，运维人员使用了驱动默认参数，结果在 4K 随机读场景下，IOPS 仅为预期的 60%，且 CPU 软中断占用高达 40%。通过排查，发现两个问题：

1. RX ring buffer 过小（默认 1024），在突发流量下出现大量丢包，计数器显示 rx_dropped 持续增长。
2. 中断合并被完全关闭（某优化文档建议），导致每个数据包都触发中断，CPU 忙于处理中断而无法及时执行存储协议栈。

优化操作如下：

# 1. 调整所有 RoCE 网卡的 ring buffer
for i in eth0 eth1 eth2 eth3; do
    ethtool -G $i rx 4096 tx 4096
done

# 2. 启用自适应中断合并，并设置合理的延迟上限
for i in eth0 eth1 eth2 eth3; do
    ethtool -C $i adaptive-rx on adaptive-tx on
    ethtool -C $i rx-usecs 8 tx-usecs 8
done

# 3. 确认网卡固件版本一致
flint -d /dev/mst/mt4103_pciconf0 q | grep FW

优化后，IOPS 提升至预期的 95%，CPU 软中断占用降至 12%。剩余差距来自存储后端延迟，而非网络瓶颈。

4.5 误区与复盘：常见硬件配置陷阱