Linux PCIe网卡收包调优与RPS RFS配置 - 第1节
1.1 PCIe中断机制概述
PCI Express（PCIe）作为现代高性能I/O互连标准，其中断机制已经从传统的INTx线中断演进为MSI/MSI-X消息中断。理解这一演进是配置中断负载均衡的前提。
1.1.1 中断机制演进
| 中断类型 | 信号方式 | 中断向量数 | 适用场景 |
|---|---|---|---|
| INTx | 专用边带信号线（INTA#~INTD#） | 每设备最多4个 | 传统PCI设备，共享中断 |
| MSI | 内存写事务（DWORD） | 1/2/4/8/16/32（2的幂次） | PCIe原生中断，减少引脚 |
| MSI-X | 内存写事务（DWORD） | 最多2048个独立向量 | 高性能多队列设备（NVMe、网卡） |
实践要点：现代Linux内核优先使用MSI-X。驱动注册时通过
pci_alloc_irq_vectors() 请求MSI-X，若不可用则回退MSI或INTx。每个MSI-X向量可独立绑定到不同CPU核心，这是RPS/RFS生效的硬件基础。
1.1.2 PCIe中断传递路径
下图展示了一个典型NVMe SSD的MSI-X中断从设备触发到CPU处理的完整路径：
1.2 中断负载均衡的重要性
在多核系统中，中断处理的不均衡会导致严重的性能瓶颈。以下数据来自真实生产环境（40Gbps网卡，8核CPU）：
| 指标 | 未均衡（单核处理） | 硬件均衡（MSI-X绑定） | 软件均衡（RPS+RFS） |
|---|---|---|---|
| CPU 0 软中断占用 | 85% | 35% | 12% |
| CPU 0~7 平均利用率 | 15% / 5% / 3% / 2% / 2% / 1% / 1% / 1% | 25% / 20% / 18% / 15% / 12% / 10% / 8% / 6% | 18% / 17% / 16% / 15% / 14% / 13% / 12% / 11% |
| 吞吐量（Gbps） | 12.4 | 28.7 | 36.2 |
| P99 延迟（μs） | 185 | 92 | 48 |
常见误区：很多开发者认为只要将MSI-X向量绑定到不同CPU就完成了负载均衡。实际上，中断处理的上半部（hardirq）确实被均衡了，但下半部（softirq/ tasklet）以及后续的数据包处理可能仍然集中在单个CPU上。这正是RPS/RFS要解决的核心问题。
1.2.1 不均衡带来的典型问题
- CPU热点：单个CPU软中断占用超过80%，其他CPU空闲，形成“一核有难，多核围观”。
- 缓存抖动：数据包在CPU之间频繁迁移，导致L1/L2缓存命中率下降30%~50%。
- 锁竞争：多队列设备但中断集中在单核时，驱动队列锁成为瓶颈。
- 延迟抖动：高优先级中断被长处理任务阻塞，导致尾部延迟恶化。
1.3 RPS与RFS技术简介
RPS（Receive Packet Steering）和RFS（Receive Flow Steering）是Linux内核网络子系统中用于软件中断负载均衡和数据局部性优化的两项关键技术。它们工作在软中断（softirq）层面，与硬件中断绑定协同工作。
1.3.1 RPS：接收数据包分发
RPS的核心思想是：在硬件中断处理函数中，根据数据包的哈希值（通常基于IP五元组）将数据包分发到指定CPU的背队列（backlog），由目标CPU的软中断处理线程处理。
1.3.2 RFS：流感知调度
RFS在RPS的基础上增加了应用CPU亲和性感知。它维护一个全局流表（flow table），记录每个数据流最近被哪个CPU处理，并将后续数据包直接分发到该CPU，从而最大化CPU缓存命中率。
| 特性 | RPS | RFS |
|---|---|---|
| 分发依据 | 数据包哈希值 | 哈希值 + 应用CPU位置 |
| 缓存局部性 | 无保证 | 强保证（同一流在同一CPU处理） |
| 流表维护 | 无 | 需要 rps_flow_cnt 配置 |
| 适用场景 | 通用负载均衡 | 高吞吐 + 低延迟（如Redis、Nginx） |
| CPU开销 | 低（仅哈希计算） | 中（哈希 + 流表查询） |
1.3.3 RPS与RFS的协同工作
在实际部署中，RPS和RFS通常同时启用：RPS负责将数据包分发到多个CPU，RFS确保同一数据流的后续包落在同一个CPU上。下图展示了二者的协同关系：
核心结论：RPS解决的是软中断负载均衡问题，RFS解决的是数据局部性问题。两者结合使用，可以在多核系统上实现接近硬件RSS（Receive Side Scaling）的效果，且无需硬件支持。在后续章节中，我们将深入讲解具体的配置参数、调优步骤和性能验证方法。