📚 课程目录第1章资源竞争概述

1. 资源竞争概述：多核CPU架构下的资源竞争类型与性能影响

在现代多核CPU集群中，多个核心共享片上资源（LLC、内存控制器、总线）是常态。当多个进程或线程同时访问这些共享资源时，就会产生资源竞争。这种竞争会显著增加指令延迟、降低有效带宽，甚至引发优先级反转和调度抖动。理解竞争类型是进行CPU亲和性调度与性能校准的前提。

1.1 多核共享资源拓扑

下图展示了一个典型的双路NUMA节点内部资源竞争路径。每个Socket包含多个物理核心，核心私有L1/L2缓存，共享L3缓存（LLC）、内存控制器和QPI/UPI总线。跨Socket访问会经过一致性协议和总线仲裁，产生额外延迟。

1.2 三大核心竞争类型

根据共享资源的不同，多核CPU下的资源竞争可归纳为以下三种主要类型。每种类型对性能的影响机制和量化指标各不相同。

竞争类型	共享资源	触发场景	性能影响	典型指标
缓存竞争	L3 Cache (LLC) 缓存行 (Cache Line)	多线程访问同一缓存集；伪共享 (False Sharing)	缓存命中率下降 → 内存访问延迟增加 2~10x； MESI协议产生大量Invalidate消息	LLC miss rate 缓存行迁移次数
内存带宽竞争	内存控制器 (iMC) DDR通道	多个核心同时进行大块内存拷贝、流式处理、数据库扫描	有效带宽下降 30%~70%；延迟增加 50%~200%	MEM_BW_Utilization MEM_LATENCY
总线锁竞争	QPI/UPI 总线内存总线	原子操作 (LOCK CMPXCHG) 自旋锁、读写锁高并发	串行化执行 → 吞吐量骤降； CPU利用率虚高，实际指令退休率低	BUS_LOCK_CYCLES 自旋等待时间

  性能校准关键认知： 缓存竞争通常是最隐蔽的——它不直接体现在CPU利用率上，而是通过缓存缺失率和指令每周期数 (IPC) 的下降来暴露。内存带宽竞争则容易在STREAM等基准测试中被量化。总线锁竞争往往伴随上下文切换和调度延迟的异常升高。

1.3 竞争类型深度解析

1.3.1 缓存竞争：伪共享与缓存行乒乓

当两个核心各自修改位于同一缓存行但不同地址的数据时，缓存一致性协议（MESI/MOESI）会强制将该缓存行在核心间来回迁移。这种现象称为缓存行乒乓 (Cache Line Ping-Pong)，是缓存竞争中最常见且最隐蔽的性能杀手。

// 伪共享示例：两个线程修改同一缓存行的不同字段
struct Data {
    int a;      // 线程1 频繁写入
    int b;      // 线程2 频繁写入
    // 实际 a 和 b 很可能位于同一缓存行 (64字节对齐)
};

// 性能影响：每次写入都会导致对方核心的缓存行失效
// 实测：伪共享版本吞吐量可能下降 5~20 倍

校准手段： 使用 __attribute__((aligned(64))) 或 cacheline_padding 将高频写入的变量隔离到不同缓存行；通过 perf stat -e LLC-load-misses,LLC-store-misses 观察缓存缺失率。

1.3.2 内存带宽竞争：带宽墙与延迟墙

现代CPU的内存带宽由内存通道数、频率和内存控制器效率共同决定。当多个核心同时发起大量内存访问请求时，内存控制器成为瓶颈。下图展示了带宽竞争导致的有效带宽下降曲线。

1.3.3 总线锁竞争：原子操作的串行化代价

当CPU执行带有 LOCK 前缀的指令（如 LOCK CMPXCHG、LOCK ADD）时，会锁住内存总线或缓存行，阻止其他核心同时访问。高并发锁操作会导致严重的串行化，使多核优势丧失。

常见陷阱： 使用 std::atomic 或 synchronized 时，如果锁粒度太粗或临界区过长，总线锁竞争会成为性能瓶颈。在极端情况下，32线程的锁竞争性能可能比单线程还差（性能反转）。

1.4 竞争性能影响量化对比

以下表格基于典型服务器CPU（如Intel Xeon 8380、AMD EPYC 7763）的实测数据，展示了不同竞争类型对关键性能指标的影响幅度。

性能指标	无竞争基线	缓存竞争	内存带宽竞争	总线锁竞争
IPC (指令每周期)	2.0 ~ 3.5	0.8 ~ 1.5 (↓50~70%)	1.2 ~ 2.0 (↓30~50%)	0.3 ~ 0.8 (↓60~85%)
内存延迟 (ns)	80 ~ 120	200 ~ 500 (↑2~5x)	150 ~ 300 (↑1.5~3x)	100 ~ 200 (↑1.2~2x)
有效内存带宽 (GB/s)	理论值 90%+	60~80%	30~60% (↓显著)	70~85%
上下文切换速率	低	中	中	高 (锁等待导致)
CPU利用率 (实际有效)	95%+	70~85% (等待内存)	60~80% (带宽受限)	30~60% (自旋等待)

1.5 竞争识别与初步诊断

在实际集群中，资源竞争往往不是单一类型，而是多种竞争交织。以下是一线诊断的常用工具和初步判断方法：

缓存竞争诊断： perf stat -e LLC-load-misses,LLC-store-misses,LLC-loads,LLC-stores —— 若LLC miss rate > 10% 且 IPC < 1.0，高度怀疑缓存竞争。
内存带宽竞争诊断： numastat -p <pid> 查看跨NUMA访问比例；perf stat -e uncore_imc/data_reads/,uncore_imc/data_writes/ 查看内存控制器负载。
总线锁竞争诊断： perf stat -e cycles,bus-cycles,bus-lock-cycles —— 若 bus-lock-cycles / bus-cycles > 5%，锁竞争严重。
整体调度抖动： pidstat -w -I -p <pid> 1 观察非自愿上下文切换 (cswch/s) 是否异常升高。