第1章 缓存瓶颈现象识别
1.1 现象识别
识别缓存瓶颈的第一道工序是从全局监控或性能计数器中发现异常信号。常见的“红灯”包括：
- 缓存未命中率持续升高：L1/L2/L3 miss rate > 基线值（通常 >5% 需关注，>20% 严重）。
- 内存带宽占满：DRAM BW 利用率接近平台峰值（如 DDR5-5600 约 44 GB/s），导致其他内存请求排队。
- TLB 抖动：TLB miss 次数/秒陡增，通常伴随大量页表遍历。
- 延迟突增：关键路径上的内存访问延迟（如 LLC miss 延迟）从几十 ns 飙升到数百 ns。
- CPU Stalls：因等待数据导致的 pipeline stall 占比高（如 STALL_BACKEND_RESOURCE 类计数器超过 30%）。
快速判断规则：若同时观察到 L1/L2 miss rate 上升 + 内存带宽接近极限 + 平均指令完成周期（CPI）升高 30% 以上，基本可断定存在缓存瓶颈。
典型案例：电商秒杀服务延迟抖动
某分布式缓存节点在秒杀期间，P99 延迟从 2 ms 跳至 15 ms。通过 perf stat 发现 L2 miss rate 从 4% 升至 22%，DDR 带宽占用由 20% 飙至 98%，TLB miss 速率提升 10 倍。后续通过 Perfetto 抓取 sched/sched_switch 和 ftrace 确认后端线程大量产生 cache miss stall。
1.2 数据采集
使用 Perfetto 快速抓取缓存相关 trace 的推荐配置：
# 轻量 trace 捕获命令（20 秒，仅缓存与内存事件）
perfetto -c - --txt <采集后可使用 perfetto --trace /tmp/trace.pb --text 或导入 Perfetto UI (ui.perfetto.dev) 查看。
1.3 原因定位
利用 Perfetto UI 的“CPU slices + 内存计数器”联动视图，定位到具体热点函数或数据对象。定位流程如下表：
| 观测项 | 可能根因 |
|---|---|
| L1 miss 高 + 未命中指令密集 | 内层循环跨越太多 cache line |
| L3 miss 高 + 远程 NUMA 访问多 | 数据分布跨 NUMA 节点 |
| TLB miss 高 + 进程内存区域大 | 大页未启用 / 页表碎片 |
| 内存带宽满 + 连续大块拷贝 | memcpy 或序列化 I/O 路径 |
常见陷阱：仅看平均带宽不足以定位——需关注 瞬时尖峰。Perfetto 中可查看 DDR bandwidth 时间序列（需 platform counter 启用）。
1.4 修复动作
- 针对 L1/L2 miss：数据对齐、循环分块（tile）优化。
- 针对 TLB 抖动：启用大页（HugeTLB 或透明大页），或重组数据结构减少虚拟地址跨度。
- 针对内存带宽瓶颈：采用流式算法、减少拷贝、使用更紧凑的数据类型。
- 针对 NUMA 访问：绑定内存和线程到同一节点（mbind/sched_setaffinity）。
1.5 复测
应用修复后使用同样的 Perfetto 配置再次采集，对比前后关键指标：
- L1/L2/L3 miss rate 是否回落至基线 120% 以内。
- 内存带宽峰值是否降低 30% 以上。
- TLB miss rate 是否下降 80%。
- P99 延迟是否回到预期值。
若未达标，返回 1.3 步进一步分解根因。
1.6 预防
- 建立基线：在 CI/CD 中集成 Perfetto trace 并设定 miss rate 告警阈值。
- 代码审查规范：对热点循环、大数据结构进行 cache 友好性审查。
- 定期压力测试：使用 memtier、stress-ng 模拟高带宽负载，提前发现衰退。
排查表快速参考
| 现象 | 常用 Perfetto 事件 | 典型值/告警线 |
|---|---|---|
| L1 cache miss rate | MEM_LOAD_RETIRED.L1_MISS / LOAD | >5% |
| L2 cache miss rate | MEM_LOAD_RETIRED.L2_MISS / LOAD | >10% |
| L3 cache miss rate | MEM_LOAD_RETIRED.L3_MISS / LOAD | >15% |
| 内存带宽利用率 | Linux per-process memory counters / DDR counters | >85% 持续 |
| TLB miss rate | DTLB_LOAD_MISSES.WALK_COMPLETED / LOAD | >2% |
| CPU backend stalls | STALL_BACKEND_RESOURCE / CYCLE | >25% |
小技巧：在 Perfetto UI 中为每个核心添加
CPU: memory bandwidth 和 CPU: last level cache miss 两个追踪线，可以一眼看出瓶颈是全局还是某个核心。