1. 性能分析基础

1.1 性能分析的核心目标与挑战

性能分析的最终目标是回答一个根本问题：系统为什么慢？ 这不仅仅是找到瓶颈，更是要建立从业务指标到内核代码路径的完整映射。

核心目标

• 定位瓶颈：识别限制系统吞吐量或增加延迟的组件（CPU、内存、磁盘、网络）。
• 理解行为：分析资源使用模式、锁竞争、上下文切换频率、中断分布。
• 容量规划：预测系统在负载增加时的表现，确定扩展策略。
• 成本优化：在满足性能SLA的前提下，最小化资源消耗（云成本、功耗）。

主要挑战

1.2 Linux内核性能子系统概览

Linux内核是一个高度模块化的系统，性能数据分散在多个子系统中。理解这些子系统的职责和数据来源，是有效使用 perf 和 eBPF 的前提。

核心性能子系统

• 调度器 (Scheduler)：管理CPU时间分配，核心指标包括运行队列长度、上下文切换次数、抢占延迟、负载均衡效率。
• 内存管理 (MM)：负责虚拟内存、页分配、回收、交换。关键事件包括缺页中断、内存压缩、OOM Killer、TLB抖动。
• 块设备层 (Block I/O)：处理磁盘读写请求。关注点包括I/O调度算法、请求合并、队列深度、延迟分布。
• 网络协议栈 (Networking)：从网卡中断到socket层。核心指标包括吞吐量、丢包率、TCP重传、连接队列溢出。
• 中断与软中断 (IRQ/SoftIRQ)：硬件中断和下半部处理。高中断频率可能导致CPU缓存污染和调度延迟。
• 锁与同步 (Locking)：包括自旋锁、互斥锁、读写锁、RCU。锁竞争是并发性能的主要杀手。

性能数据源架构图

下图展示了性能分析工具与内核子系统的数据交互关系：

1.3 perf 与 eBPF 的定位与关系

perf 和 eBPF 是 Linux 性能分析领域的两大核心工具，它们并非竞争关系，而是互补协同。理解它们的定位差异和协作模式，是构建高效性能分析体系的基础。

定位对比

协同工作模式

在实际性能分析中，perf 和 eBPF 通常按以下流程配合使用：

1. 宏观定位 (perf)：使用 perf top 或 perf record -g 快速识别热点函数或高频调用路径。
2. 微观深挖 (eBPF)：针对热点函数，使用 bpftrace 或 libbpf 程序动态插桩，采集函数参数、返回值、执行时间分布等细节。
3. 关联验证：通过 eBPF map 将内核事件与用户态上下文关联，确认性能问题的根因。

perf 与 eBPF 协作流程图

1.4 工具选择决策树

面对一个性能问题，如何快速选择正确的工具？以下决策树可以帮助初学者建立直觉：

• 问题现象：CPU 使用率高
  • 用户态 CPU 高 → perf top -p PID 查看用户态热点 → 结合 perf record -g 生成火焰图。
  • 内核态 CPU 高 → perf top -k 查看内核热点 → 使用 eBPF 追踪具体内核函数参数。
• 问题现象：I/O 延迟高
  • 磁盘 I/O → iostat -x 1 查看 await/svctm → 使用 bpftrace 追踪 block_rq_issue 和 block_rq_complete 计算延迟分布。
  • 网络 I/O → perf stat -e netif_receive_skb 统计包量 → 使用 eBPF XDP 程序分析包处理路径。
• 问题现象：应用响应时间抖动
  • 使用 perf sched record 记录调度事件 → 分析调度延迟和抢占情况。
  • 使用 eBPF 追踪 sched_wakeup 和 sched_switch 计算进程唤醒到执行的实际延迟。