📚 课程目录第3章中断亲和性基础

3. 中断亲和性基础：CPU亲和性概念、smp_affinity原理、中断分发策略

中断亲和性（Interrupt Affinity）是PCIe驱动实现中断负载均衡的基石。它决定了硬件中断由哪个或哪些CPU核心处理，直接影响数据路径的缓存命中率、锁竞争程度以及整体吞吐量。本节将深入剖析CPU亲和性概念、smp_affinity的底层原理以及主流的中断分发策略。

3.1 CPU亲和性概念

CPU亲和性（CPU Affinity）是指将进程或中断绑定到特定CPU核心（或核心集合）上执行的能力。其核心目标在于最大化利用CPU缓存（L1/L2/L3）的局部性原理，减少因进程或中断在不同核心间迁移导致的缓存失效（Cache Miss）和TLB刷新开销。

关键收益： 通过绑定中断与特定CPU，可以显著降低数据包处理路径上的延迟，提升网络吞吐量，并减少因核间中断（IPI）和锁竞争带来的性能抖动。

在Linux系统中，CPU亲和性分为两类：

进程/线程亲和性（Process/Thread Affinity）： 通过 sched_setaffinity() 系统调用或 taskset 命令实现，将用户态或内核态线程绑定到指定CPU。
中断亲和性（Interrupt Affinity）： 通过 /proc/irq/<IRQ_NUM>/smp_affinity 或 smp_affinity_list 文件控制，将硬件中断请求（IRQ）定向到特定CPU核心。

下表对比了两种亲和性的核心差异：

特性	进程/线程亲和性	中断亲和性
控制对象	用户态/内核态任务	硬件中断请求（IRQ）
配置接口	`taskset` / `sched_setaffinity()`	`/proc/irq/*/smp_affinity`
生效层级	调度器（CFS）	中断控制器（如APIC、GIC）
主要目的	减少进程迁移、提升缓存命中	均衡中断负载、避免单核过载
对PCIe驱动影响	间接（处理软中断的线程）	直接（决定哪个CPU响应硬件中断）

3.2 smp_affinity原理

smp_affinity 是Linux内核为每个中断请求（IRQ）提供的CPU亲和性配置接口，其本质是一个位掩码（Bitmask）。每一位代表一个逻辑CPU核心，置1表示该核心可以处理此中断，置0则表示禁止。

工作原理：

位掩码映射： 对于拥有N个CPU核心的系统，smp_affinity 是一个N位的位图。例如，在8核系统上，位掩码 0x11（二进制 00010001）表示中断只能由CPU 0和CPU 4处理。
中断控制器路由： 当硬件设备触发中断时，中断控制器（如x86的I/O APIC或ARM的GIC）会读取该IRQ对应的 smp_affinity 位掩码，并将中断信号仅路由到掩码中指定的CPU核心。
内核调度介入： 如果掩码中包含多个CPU，中断控制器会依据其内部的分发策略（如轮询、最低优先级）选择一个目标CPU。Linux内核的 irqbalance 服务可以动态调整这些掩码以实现负载均衡。

配置示例： 将IRQ 130绑定到CPU 2和CPU 3（假设CPU编号从0开始）：

# 查看当前亲和性
cat /proc/irq/130/smp_affinity
# 输出示例：00000000,00000000,00000000,0000000c

# 设置为CPU 2和CPU 3（位掩码：00001100 = 0x0c）
echo 0c > /proc/irq/130/smp_affinity

# 或者使用更直观的列表格式
echo 2-3 > /proc/irq/130/smp_affinity_list

下图展示了 smp_affinity 如何控制中断从PCIe设备到具体CPU核心的路由过程：

3.3 中断分发策略

中断控制器根据 smp_affinity 位掩码，采用不同的策略将中断分发给目标CPU。理解这些策略对于优化PCIe驱动的性能至关重要。

主流分发策略对比：

策略名称	描述	优点	缺点	适用场景
固定路由（Fixed）	中断始终发送到 `smp_affinity` 中编号最小的CPU。	实现简单，确定性高。	容易导致单个CPU过载，无法利用多核。	低中断频率、对延迟一致性要求极高的场景。
轮询（Round-Robin）	在 `smp_affinity` 指定的CPU集合中循环分发中断。	负载均衡效果好，实现简单。	可能破坏缓存局部性，导致大量缓存未命中。	中断频率高、CPU核心数多、对缓存不敏感的场景。
最低优先级（Lowest Priority）	将中断发送到当前负载最低或运行最低优先级任务的CPU。	动态适应系统负载，兼顾均衡与性能。	实现复杂，需要实时监控CPU状态，可能引入额外开销。	通用服务器、负载动态变化的场景。
处理器特定（Processor Specific）	基于硬件特性（如NUMA节点、缓存拓扑）进行智能分发。	最大化利用硬件局部性，性能最优。	高度依赖硬件平台，可移植性差。	高性能计算、NUMA架构下的延迟敏感型应用。

实践注意： 在配置PCIe网卡（如Intel I350、Mellanox ConnectX系列）的中断亲和性时，建议结合NUMA拓扑。将处理网卡中断的CPU绑定到与网卡所在PCIe插槽相同的NUMA节点上，可以避免跨NUMA访问带来的内存访问延迟（通常增加20%-30%的延迟）。

下图展示了在4核系统上，不同分发策略下中断的分配情况：

查看当前中断分发策略：

在x86平台上，可以通过 /proc/interrupts 查看每个中断在各个CPU上的分布情况，从而推断当前的分发策略效果：

# 查看中断分布
cat /proc/interrupts | grep -E "CPU|eth0"

# 输出示例：
#           CPU0       CPU1       CPU2       CPU3
# 130:  5000000    100000     500000     200000   IR-PCI-MSI  eth0-TxRx-0
# 131:   100000   5000000     200000     500000   IR-PCI-MSI  eth0-TxRx-1

如果所有中断都集中在CPU0上，说明可能使用了固定路由策略或 smp_affinity 配置不当。均匀分布则表明轮询或 irqbalance 服务正在工作。

性能调优要点： 对于PCIe NVMe SSD或高速网卡驱动，建议手动设置 smp_affinity，将每个队列的中断绑定到不同的CPU核心，并确保这些核心与处理相应数据路径的用户态进程位于同一NUMA节点。这是实现RPS/RFS高效工作的前提。