3. 多队列中断原理：中断亲和性、多核负载均衡与中断调节

多队列中断是高性能 PCIe 设备（如 NVMe SSD、万兆网卡、GPU）实现线性扩展的核心机制。其本质是将设备产生的多个中断请求分散到不同的 CPU 核心上处理，从而避免单核瓶颈，充分利用多核处理器的并行能力。本章深入剖析中断亲和性（IRQ Affinity）、多核负载均衡以及中断调节（Interrupt Moderation & Coalescing）三大关键技术。

3.1 中断亲和性（IRQ Affinity）

中断亲和性是指将特定的中断请求（IRQ）绑定到指定的 CPU 核心或核心组上。通过设置亲和性，可以控制哪个 CPU 核心负责处理来自特定队列的中断，这是实现多队列中断负载均衡的基础。

3.1.1 亲和性设置机制

在 Linux 中，中断亲和性通过 /proc/irq/{IRQ_NUM}/smp_affinity 文件进行控制。该文件存储一个十六进制位掩码（bitmask），每一位代表一个 CPU 核心。

• 位掩码规则： 最低位（bit 0）对应 CPU 0，bit 1 对应 CPU 1，以此类推。
• 设置方法： 将期望的 CPU 核心对应的位设置为 1，其余位设置为 0。
• 持久化： 可通过 irqbalance 服务或系统启动脚本（如 /etc/rc.local）实现持久化配置。

# 查看当前 IRQ 48 的亲和性
cat /proc/irq/48/smp_affinity
# 输出示例：00000000,00000000,00000000,00000001  (仅绑定到 CPU 0)

# 计算位掩码：CPU 2 (bit 2) + CPU 3 (bit 3) = 0b1100 = 0xC
echo "C" > /proc/irq/48/smp_affinity

# 验证设置
cat /proc/irq/48/smp_affinity
# 输出示例：00000000,00000000,00000000,0000000C

3.1.2 驱动中的亲和性分配策略

现代 PCIe 驱动通常在探测（probe）阶段，利用内核 API 自动为每个队列分配亲和性。常见策略包括：

3.2 多核负载均衡

中断亲和性提供了将中断绑定到特定核心的能力，而多核负载均衡则关注如何动态或静态地分配中断处理负载，确保所有核心的利用率均衡，避免出现“热点核心”。

3.2.1 静态均衡 vs 动态均衡

3.2.2 irqbalance 的工作原理

irqbalance 是 Linux 系统中用于动态均衡中断负载的守护进程。其工作流程如下：

1. 采集阶段： 定期读取 /proc/interrupts 和 /proc/stat，获取每个中断的触发频率和每个 CPU 核心的利用率。
2. 评估阶段： 计算每个核心的“中断压力”分数，识别出过载核心和空闲核心。
3. 迁移阶段： 将过载核心上的部分中断，通过修改 smp_affinity 迁移到空闲核心上。

3.3 中断调节（Interrupt Moderation & Coalescing）

中断调节是一种通过延迟或合并中断来减少中断频率、降低 CPU 开销的技术。在高吞吐量场景下，如果每个数据包或每个 DMA 完成事件都触发一次中断，CPU 将被中断风暴淹没，导致系统性能急剧下降。

3.3.1 核心概念

• Interrupt Coalescing（中断合并）： 将多个事件的中断请求合并为一个中断，一次性通知 CPU 处理。
• Interrupt Moderation（中断调节）： 通过定时器或计数器控制中断产生的速率，避免过于频繁。

3.3.2 实现机制

现代 PCIe 设备通常在硬件层面支持中断调节，驱动通过配置设备的寄存器来控制行为。常见参数包括：

/* 设置队列 0 的中断调节参数 */
struct interrupt_moderation_params params;

params.timeout_us = 10;   /* 10 微秒超时 */
params.count = 8;         /* 累积 8 个事件后触发中断 */
params.adaptive = true;   /* 启用自适应调节 */

pcie_device_set_moderation(pdev, 0, &params);

3.3.3 权衡：延迟 vs 吞吐量

中断调节的本质是在延迟和吞吐量之间做权衡：

• 低延迟模式： 设置较小的超时和计数（如 1 μs / 1 事件），中断几乎立即触发，适合对延迟敏感的存储场景。
• 高吞吐量模式： 设置较大的超时和计数（如 50 μs / 64 事件），减少中断次数，提升 CPU 利用率，适合批量数据传输。

3.4 多队列中断协同设计要点

在实际驱动开发中，中断亲和性、负载均衡和中断调节三者需要协同设计，才能发挥最佳性能：

• 队列与核心一对一映射： 确保每个队列的中断绑定到不同的物理核心，避免多个队列争抢同一个核心。
• 中断调节参数与队列用途匹配： 控制队列使用低延迟参数，数据队列使用高吞吐量参数。
• 避免 irqbalance 干扰： 对于确定性要求高的场景，在驱动初始化时设置 IRQ_NO_BALANCING 标志，禁止动态迁移。
• 利用 MSI-X 的每个向量独立配置： MSI-X 允许每个中断向量独立设置亲和性和调节参数，这是实现精细化控制的基础。