2. 网卡中断基础：什么是中断？MSI-X中断机制详解
中断（Interrupt）是现代计算机系统中CPU与外围设备（如网卡、磁盘、GPU）进行异步通信的核心机制。在网卡多队列与RSS（Receive Side Scaling）场景下，中断机制直接决定了报文从硬件到达协议栈的延迟与CPU负载分布。本节从中断的基本概念出发，深入剖析MSI-X中断机制及其在多队列负载均衡中的关键作用。
2.1 中断的基本概念与分类
中断是一种硬件机制，允许外围设备通知CPU需要立即处理的事件（如数据包到达、传输完成、错误发生）。CPU在每条指令执行完毕后检查中断信号，若存在待处理中断，则保存当前上下文（寄存器、程序计数器），跳转到中断服务例程（ISR, Interrupt Service Routine）执行，完成后恢复上下文继续执行原程序。
| 中断类型 | 触发方式 | 典型场景 | 特点 |
|---|---|---|---|
| 传统INTx中断 | 共享中断线（IRQ pin） | 旧式PCI设备、串口、键盘 | 多个设备共享一条中断线，需遍历中断处理程序链，效率低 |
| MSI中断 | 内存写事务（Message Signaled Interrupt） | PCIe设备基本中断 | 每个设备独立中断向量，无需共享线，支持中断屏蔽 |
| MSI-X中断 | 内存写事务，独立地址/数据对 | 多队列网卡、NVMe SSD、高性能GPU | 支持大量中断向量（可达2048个），每个向量独立配置CPU亲和性 |
2.2 中断处理流程：从硬件到软件
一个完整的中断处理流程涉及硬件、固件、操作系统内核三个层面。以网卡接收数据包为例，流程如下：
- 设备触发中断： 网卡完成数据包DMA传输后，通过PCIe总线向CPU发送MSI-X中断消息（内存写事务）。
- 中断控制器路由： 现代x86系统使用I/O APIC（高级可编程中断控制器）或MSI-X的直通路由，将中断消息直接送达目标CPU核心的Local APIC。
- CPU中断响应： CPU在指令边界检查中断标志位，若中断未被屏蔽，则保存当前上下文（SS、RSP、RFLAGS、CS、RIP等寄存器压栈）。
- 中断向量查找： CPU根据中断向量号（0-255）在IDT（中断描述符表）中查找对应的中断门描述符，获取ISR入口地址。
- ISR执行： 内核执行中断服务例程，通常分为上半部（Top Half，快速处理硬件状态）和下半部（Bottom Half，如软中断/NAPI轮询，处理数据包协议栈）。
- 中断返回： 执行IRET指令恢复上下文，CPU继续执行被中断的程序。
2.3 MSI-X中断机制详解
MSI-X（Message Signaled Interrupts eXtended）是PCIe规范定义的高级中断机制，专为需要大量独立中断向量的高性能设备设计。与MSI相比，MSI-X的核心改进在于：
- 独立地址/数据对： 每个中断向量拥有独立的Message Address和Message Data寄存器，可独立路由到不同CPU核心。
- 大量向量支持： 最多支持2048个中断向量（MSI最多支持32个），完美匹配多队列网卡（如64队列、128队列）的需求。
- 向量掩码： 每个向量可独立启用/禁用，无需全局中断屏蔽，减少中断丢失风险。
- PBA（Pending Bit Array）： 提供挂起位数组，用于记录已触发但尚未处理的中断，支持中断合并（Interrupt Coalescing）。
2.4 MSI-X与多队列网卡的映射关系
在多队列网卡中，每个硬件队列（RX/TX Queue）通常映射到一个独立的MSI-X中断向量。通过配置每个中断向量的CPU亲和性（Affinity），可以实现中断负载均衡。以下是典型的映射关系：
| 网卡队列编号 | MSI-X向量号 | 目标CPU核心 | 中断名称（/proc/interrupts） |
|---|---|---|---|
| Queue 0 | Vector 68 | CPU 0 | eth0-TxRx-0 |
| Queue 1 | Vector 69 | CPU 1 | eth0-TxRx-1 |
| Queue 2 | Vector 70 | CPU 2 | eth0-TxRx-2 |
| Queue 3 | Vector 71 | CPU 3 | eth0-TxRx-3 |
| … | … | … | … |
2.5 MSI-X中断的配置与验证
在Linux系统中，可以通过以下方式查看和配置MSI-X中断：
# 查看网卡中断分布（每队列独立显示）
cat /proc/interrupts | grep eth0
# 查看MSI-X向量信息（需要root权限）
lspci -vvv -s 02:00.0 | grep -i msix
# 设置中断亲和性（将向量68绑定到CPU 0）
echo 1 > /proc/irq/68/smp_affinity
# 使用set_irq_affinity脚本批量设置（部分发行版提供）
set_irq_affinity.sh 0-3 eth0验证中断是否成功绑定到目标CPU核心，可以通过持续监控/proc/interrupts中对应向量的计数变化，确认中断仅在指定CPU上增长。
2.6 中断负载均衡的关键参数
在实际调优中，以下参数直接影响MSI-X中断的负载均衡效果：
| 参数 | 位置 | 作用 | 推荐值 |
|---|---|---|---|
| smp_affinity | /proc/irq/<vector>/smp_affinity | 设置中断向量的CPU亲和性（位图） | 按队列编号绑定到对应CPU核心 |
| smp_affinity_list | /proc/irq/<vector>/smp_affinity_list | 以CPU列表形式设置亲和性（如0-3） | 与smp_affinity等效，更易读 |
| irqbalance | 系统服务 | 自动平衡中断到各CPU核心 | 多队列场景建议关闭，手动绑定 |
| RSS队列数 | ethtool -L eth0 combined N | 设置网卡硬件队列数量 | 通常等于物理CPU核心数或NUMA节点核心数 |
2.7 中断合并（Interrupt Coalescing）与MSI-X
中断合并是一种减少中断频率、降低CPU开销的技术。网卡在接收到多个数据包或经过一定时间后，才触发一次中断。MSI-X的PBA（Pending Bit Array）机制天然支持中断合并：当多个队列同时有数据包到达时，PBA记录所有待处理向量，网卡可以选择在合适时机一次性发送一个合并中断消息，CPU读取PBA后依次处理所有待处理队列。
中断合并参数通常通过ethtool调整：
# 查看当前中断合并参数
ethtool -c eth0
# 设置RX中断合并（usecs：微秒延迟，frames：帧数阈值）
ethtool -C eth0 rx-usecs 50 rx-frames 8
# 关闭中断合并（低延迟场景）
ethtool -C eth0 rx-usecs 0 rx-frames 0