3、硬件基础：RoCE网卡硬件架构、PCIe接口、队列对（QP）与完成队列（CQ）机制

RoCE（RDMA over Converged Ethernet）网卡的性能调优，不能只停留在驱动参数和内核协议栈层面。如果对网卡内部的硬件流水线、与CPU之间的PCIe通道、以及驱动与硬件协作的队列机制缺乏清晰认知，很多参数调整就会变成“盲调”。本节从硬件视角拆解RoCE网卡的核心组成，重点厘清QP与CQ的工作模型，为后续的队列深度、中断合并、PCIe带宽分配等调优项建立硬件基础。

3.1 RoCE网卡硬件架构：从线缆到内存的完整路径

RoCE网卡本质上是一块具备RDMA引擎的智能以太网控制器。其硬件架构可划分为五个关键模块，数据从网线进入直到被CPU读取，依次经过这些模块的处理：

• 以太网MAC/PHY层：负责物理信号的收发、流控（PFC优先级流控）的识别与响应。RoCEv2报文在此完成以太网头、IP头、UDP头的解析与校验。
• RDMA协议处理引擎：这是RoCE网卡区别于普通网卡的核心。它硬件卸载了传输层逻辑，包括数据包序号管理、ACK生成、重传定时器、拥塞控制（DCQCN等）以及报文封装/解封装。CPU不参与逐包处理。
• DMA引擎与PCIe控制器：负责将接收到的数据直接写入主机内存（无需CPU拷贝），或从内存读取待发送数据。PCIe控制器管理着与CPU之间的高速通道，支持多个DMA描述符并行执行。
• 队列对（QP）上下文缓存：网卡内部维护着一张QP上下文表，记录每个QP的状态机、当前PSN（包序号）、接收窗口、MTU等关键参数。当报文到达时，硬件根据BTH（Base Transport Header）中的QP号快速查找上下文。
• 完成队列（CQ）与中断控制器：当DMA操作完成或发生错误时，硬件向指定的CQ中写入完成队列元素（CQE），并通过MSI-X中断通知CPU。中断控制器支持中断聚合（Interrupt Coalescing），可降低CPU唤醒频率。

3.2 PCIe接口：RoCE性能的“高速公路”瓶颈

RoCE网卡与CPU之间的数据通道完全依赖PCIe总线。PCIe的带宽、通道数（lane）以及DMA描述符的利用率，直接决定了RoCE能否跑满线速。以常见的100GbE RoCE网卡为例，其双向理论带宽为25GB/s（100Gbps ÷ 8），而PCIe Gen4 x16的单向带宽为32GB/s，看似足够，但实际调优中需关注以下三个层面：

PCIe参数	影响机制	调优关注点
链路宽度（x8 vs x16）	决定可用DMA通道数	确认网卡是否运行在x16模式（lspci -vvv）
Max Payload Size (MPS)	单次DMA读写最大字节数	建议设为256B或512B，匹配CPU缓存行
Max Read Request Size (MRRS)	读请求最大长度	影响RDMA读操作的吞吐，建议≥512B
中断向量与CPU亲和性	MSI-X中断分发到哪个CPU核心	使用irqbalance或手动设置亲和性，避免跨NUMA中断

3.3 队列对（QP）机制：RDMA通信的“端点管道”

QP是RoCE网卡中最重要的软件可见资源。每个QP代表一条单向或双向的RDMA通信流，由发送队列（Send Queue, SQ）和接收队列（Receive Queue, RQ）组成。驱动通过提交工作请求（Work Request, WR）到QP，硬件则从对应的队列中取出描述符执行实际的数据传输。

QP的核心参数包括：

• QP号（QPN）：全局唯一标识，报文BTH中携带，硬件据此查找上下文。
• 状态机：Reset → Init → Ready-to-Receive（RTR）→ Ready-to-Send（RTS），错误时进入Error状态。
• 发送/接收队列深度：即队列中可容纳的WQE数量，直接影响硬件流水线的利用率。
• PSN（包序号）：用于可靠连接（RC）模式下的报文排序与重传检测。

3.4 完成队列（CQ）机制：通知与回收的“事件通道”

CQ用于异步通知CPU某个WR已经完成。当硬件完成一次DMA读写后，会向指定的CQ写入一个CQE（Completion Queue Entry），包含被完成的WR编号、操作状态（成功/错误）、字节数等信息。驱动有两种方式获取完成通知：

1. 中断模式：硬件写入CQE后触发MSI-X中断，驱动在中断处理函数中轮询CQ并处理CQE。适合低延迟、低吞吐场景。
2. 轮询模式（Polling）：驱动线程主动轮询CQ中的CQE，不依赖中断。适合高吞吐、CPU资源充足的场景，可避免中断开销。

CQ的深度（可容纳的CQE数量）必须大于等于关联的所有QP的WQE总数，否则可能导致CQE溢出，造成完成事件丢失。调优时需根据QP数量、队列深度和预期并发数综合计算。

3.5 案例：100GbE RoCE网卡队列参数配置实战

某存储集群使用Mellanox ConnectX-6 Dx网卡（100GbE，PCIe Gen4 x16），运行NVMe-oF协议。初始配置使用默认QP数（8个）和CQ深度（1024），实测吞吐仅78Gbps，CPU利用率高达60%。分析发现：

• 所有QP集中在一个CPU核心的NUMA节点上，跨NUMA访问内存导致延迟增加。
• CQ深度不足，出现CQE溢出，驱动频繁进入错误处理路径。
• 中断全部路由到CPU0，未做亲和性分散。

调整方案如下：

# 设置QP数为16（每个CPU核心一个）
echo 16 > /sys/class/infiniband/mlx5_0/num_qps

# 增加CQ深度至4096
echo 4096 > /sys/class/infiniband/mlx5_0/resource/cq_size

# 设置中断亲和性（将网卡中断分散到CPU2-7）
for i in $(seq 0 7); do
  echo 2 > /proc/irq/$(cat /sys/class/infiniband/mlx5_0/irq_affinity_list | awk -F',' '{print $'$((i+1))'}')/smp_affinity
done

# 启用PCIe MPS为512B（需在BIOS中确认支持）
setpci -s 05:00.0 0x48.w=0x2

调整后吞吐提升至97Gbps，CPU利用率降至35%。关键收益来自QP分散到不同CPU核心，减少了单核瓶颈；CQ深度增加消除了溢出重试。

3.6 常见误区与复盘