2. CPU中断亲和性（SMP IRQ Affinity）

2.1 核心概念：什么是中断亲和性

中断亲和性（IRQ Affinity）是指将特定的硬件中断请求（IRQ）绑定到指定的CPU核心上处理的能力。在对称多处理（SMP）架构中，每个CPU核心都可以独立响应和处理中断，而中断亲和性机制允许系统管理员或内核决定“哪个中断由哪个CPU处理”。

关键定义： IRQ Affinity = 中断请求 → CPU核心的映射关系。通过设置 /proc/irq/{IRQ_NUM}/smp_affinity 或 smp_affinity_list 文件来控制。

每个中断都有一个关联的 affinity mask（亲和性掩码），这是一个位图，每一位代表一个CPU核心。例如，在4核系统上，掩码 0x01 表示仅CPU0处理该中断，0x0f 表示所有4个核心都可以处理。

掩码值（十六进制） 二进制表示 绑定的CPU核心 说明
0x01 0001 CPU0 仅CPU0处理
0x02 0010 CPU1 仅CPU1处理
0x04 0100 CPU2 仅CPU2处理
0x08 1000 CPU3 仅CPU3处理
0x0f 1111 CPU0~CPU3 所有核心均可处理
0x05 0101 CPU0 + CPU2 仅偶数核心处理
实践提示： 查看当前中断的亲和性掩码：cat /proc/irq/31/smp_affinity。输出为十六进制数，如 00000000,00000002 表示绑定到CPU1。

2.2 为什么需要绑定中断？

在默认情况下，Linux内核允许中断在所有CPU核心之间均衡分发。然而，这种“完全公平”的策略在高性能网络场景下会带来严重的性能问题。以下是必须进行中断绑定的核心原因：

  • CPU缓存局部性（Cache Locality）： 当网络中断在不同CPU之间漂移时，CPU的L1/L2缓存频繁失效。每次中断切换CPU，新CPU必须重新加载网络协议栈的热数据，导致缓存命中率急剧下降。
  • 锁竞争与跨CPU通信： 网络协议栈（如TCP/IP）包含大量共享数据结构。如果多个CPU同时处理同一网络连接的中断，会导致自旋锁（spinlock）激烈争用，甚至触发缓存行 bouncing（缓存行在CPU间来回传输）。
  • 上下文切换开销： 中断处理程序（上半部）和软中断（下半部）如果分散在不同CPU上，会增加进程调度和上下文切换的额外开销。
  • NUMA架构下的内存访问延迟： 在NUMA（非统一内存访问）系统中，CPU访问本地内存的速度远快于远程内存。如果中断绑定的CPU与网卡所在的NUMA节点不一致，会导致跨节点内存访问，增加延迟。
性能陷阱： 未绑定中断时，高并发网络场景（如10Gbps/40Gbps网卡）可能出现“中断风暴”——所有CPU都在处理中断，但实际吞吐量反而下降，CPU利用率100%却无法完成有效的数据处理。

2.3 SMP架构下的中断分发机制

理解中断分发机制是掌握亲和性绑定的前提。现代x86 SMP系统使用 高级可编程中断控制器（APIC） 体系结构，包含两个层级：

  1. I/O APIC（I/O高级可编程中断控制器）： 位于芯片组中，负责收集来自外设（如网卡、磁盘控制器）的中断请求，并将其路由到某个CPU的Local APIC。
  2. Local APIC（本地高级可编程中断控制器）： 每个CPU核心内部集成一个Local APIC，负责接收来自I/O APIC的中断消息，并递交给CPU核心执行。

中断分发的完整流程如下：

SMP中断分发机制流程图 硬件外设（网卡） I/O APIC（芯片组） 中断路由表 → 目标CPU选择 CPU0 Local APIC 中断处理程序 CPU1 Local APIC 中断处理程序 CPU2 Local APIC 中断处理程序 软中断（SoftIRQ） 软中断（SoftIRQ） 软中断（SoftIRQ） I/O APIC根据中断亲和性掩码（smp_affinity）决定将中断发送到哪个CPU的Local APIC

2.4 中断分发策略对比

分发策略 描述 优点 缺点 适用场景
轮询（Round-Robin） 中断依次分发到每个CPU 负载均衡简单 缓存局部性差，锁竞争严重 低负载、非性能敏感场景
最低优先级（Lowest Priority） 发送给当前负载最低的CPU 动态负载均衡 实现复杂，可能引入延迟抖动 通用桌面/服务器
固定绑定（Fixed Affinity） 根据smp_affinity掩码固定发送 缓存局部性最优，可预测性强 需要手动配置，不灵活 高性能网络、DPDK、实时系统
IRQ Balance（自动均衡） irqbalance守护进程动态调整 自动优化，兼顾负载和局部性 可能频繁迁移中断 大多数通用场景

2.5 中断亲和性的内核实现机制

在Linux内核中，中断亲和性的实现涉及以下几个关键组件：

  • irq_desc结构体： 每个中断号对应一个 struct irq_desc，其中包含 irq_data 和 affinity 字段，存储当前中断的亲和性掩码。
  • irq_chip层： 芯片组相关的回调函数，如 irq_set_affinity()，负责将亲和性掩码写入I/O APIC的中断路由表寄存器。
  • /proc/irq/ 接口： 用户空间通过 /proc/irq/{IRQ}/smp_affinity 读取或写入亲和性掩码。写入操作会触发内核调用 irq_set_affinity() 更新硬件路由表。
内核源码路径：
kernel/irq/manage.c — irq_set_affinity() 实现
kernel/irq/proc.c — /proc/irq/ 文件系统接口
arch/x86/kernel/apic/io_apic.c — x86 I/O APIC硬件操作

2.6 查看当前中断亲和性

以下命令用于查看系统中所有中断的当前亲和性配置：

# 查看所有中断及其亲和性掩码
cat /proc/interrupts

# 查看特定中断（如31号中断）的亲和性掩码
cat /proc/irq/31/smp_affinity

# 查看更易读的CPU列表格式
cat /proc/irq/31/smp_affinity_list

# 查看中断的当前CPU分布（哪个CPU在处理该中断）
cat /proc/irq/31/effective_affinity

/proc/interrupts 的输出示例：

           CPU0       CPU1       CPU2       CPU3
 31:  12345678   98765432   56789012   34567890   IO-APIC  31-fasteoi   eth0-TxRx-0
 32:  87654321   23456789   90123456   78901234   IO-APIC  32-fasteoi   eth0-TxRx-1

每一列代表一个CPU上该中断的处理次数。如果某个中断均匀分布在所有CPU上，说明未做绑定；如果集中在少数CPU上，说明已设置亲和性。

2.7 中断亲和性与NUMA拓扑的关系

在NUMA系统中，中断亲和性必须考虑 NUMA节点局部性。理想情况下，网卡所在PCIe插槽连接到哪个NUMA节点，该网卡的中断就应该绑定到同一节点的CPU上。

NUMA感知的中断绑定示意图 NUMA Node 0 CPU0 Local APIC CPU1 Local APIC 本地内存（Local Memory） 网卡（PCIe Slot 0） 连接到Node 0的PCIe控制器 NUMA感知绑定原则 ✅ 正确：中断绑定到Node 0的CPU 网卡数据直接写入本地内存 缓存命中率高，延迟低 ❌ 错误：中断绑定到Node 1的CPU 网卡数据需跨NUMA节点传输 增加20%~40%内存访问延迟
NUMA绑定检查命令：
lspci -vvv -s <网卡PCI地址> | grep NUMA — 查看网卡所在NUMA节点
numactl --hardware — 查看系统NUMA拓扑
cat /sys/class/net/eth0/device/numa_node — 直接查看网卡NUMA节点

2.8 中断亲和性设置方法

设置中断亲和性有两种主要方式：

方法一：直接写smp_affinity文件（临时生效）

# 将31号中断绑定到CPU0（掩码0x01）
echo 1 > /proc/irq/31/smp_affinity

# 将31号中断绑定到CPU1（掩码0x02）
echo 2 > /proc/irq/31/smp_affinity

# 将31号中断绑定到CPU0和CPU2（掩码0x05）
echo 5 > /proc/irq/31/smp_affinity

方法二：使用irqbalance服务（自动管理）

# 启动irqbalance服务
systemctl start irqbalance

# 查看irqbalance配置
cat /etc/sysconfig/irqbalance

# 停止irqbalance（手动绑定前需要停止）
systemctl stop irqbalance
重要注意事项：
1. 手动设置smp_affinity前，必须先停止irqbalance服务，否则irqbalance会覆盖手动设置。
2. 写入smp_affinity时使用十六进制，写入smp_affinity_list时使用CPU编号列表（如"0,2"）。
3. 某些中断（如时钟中断）不允许修改亲和性，写入会返回错误。

2.9 中断亲和性的性能影响量化

以下是实际生产环境中中断绑定前后的性能对比数据（基于10Gbps网卡、64字节小包测试）：

性能指标 未绑定（默认轮询） 绑定到单个CPU 绑定到同NUMA节点CPU 改善幅度
吞吐量（Mpps） 1.2 3.8 5.6 +366%
CPU利用率（%） 85%（所有CPU分散） 60%（单核满载） 45%（同节点均衡） -47%
平均延迟（μs） 45 22 15 -66%
缓存缺失率（%） 38 12 8 -79%
锁竞争次数（次/秒） 120,000 15,000 8,000 -93%
核心结论： 中断亲和性绑定是网络性能优化的“第一把钥匙”。在未做任何其他优化的情况下，仅通过合理绑定中断，即可获得2~4倍的吞吐量提升，同时降低CPU利用率和延迟。
← 上一章 📖 返回目录 下一章 →