1、性能分析概述：为什么需要性能分析、性能分析的基本方法、perf工具家族简介
1.1 为什么需要性能分析
在现代 Linux 系统中，性能问题直接影响用户体验、服务 SLA 和运营成本。性能分析不是“出了问题才做”的救火行为，而是贯穿系统设计、开发、测试、运维全生命周期的必要手段。
核心驱动力： 当 CPU 利用率未达 100% 但吞吐量上不去、延迟抖动超过阈值、或内存/IO 成为瓶颈时，只有通过系统化的性能分析才能定位根因，避免“拍脑袋”优化。
性能分析解决的关键问题包括：
- 瓶颈定位： 系统资源（CPU、内存、磁盘、网络）中哪一个最先耗尽？
- 热点识别： 哪一段代码、哪一个内核函数消耗了最多的 CPU 时间？
- 异常诊断： 为什么某次请求的延迟突然从 1ms 飙升到 100ms？
- 容量规划： 当前系统还能承受多少并发？升级硬件后能提升多少？
- 回归检测： 新版本代码是否引入了性能退化？
经验法则： 性能分析应遵循“测量-分析-优化-验证”闭环。没有测量的优化是盲目的，没有验证的优化是危险的。
1.2 性能分析的基本方法
性能分析的方法论可以归纳为“USE 方法”和“Off-CPU 分析”两大经典框架，以及一套通用的分析流程。
1.2.1 USE 方法（Utilization, Saturation, Errors）
由 Brendan Gregg 提出，适用于所有资源（CPU、内存、磁盘、网络）的快速瓶颈检查：
| 指标 | 含义 | 典型阈值 | 示例工具 |
|---|---|---|---|
| Utilization（利用率） | 资源忙于服务的时间占比 | > 70% 需关注，> 90% 严重 | top, iostat, sar |
| Saturation（饱和度） | 资源排队等待的任务数 | 持续 > 0 表示过载 | vmstat, perf sched |
| Errors（错误数） | 资源操作失败的次数 | 任何非零错误都需排查 | dmesg, perf stat |
注意： 利用率高不一定代表瓶颈。例如 CPU 利用率 100% 可能是在做有效计算，也可能是在空转（spinlock）。必须结合饱和度（如 runqueue 长度）和错误数综合判断。
1.2.2 Off-CPU 分析
当系统吞吐量上不去但 CPU 利用率不高时，问题往往出在 Off-CPU 路径——即线程因等待 IO、锁、网络、调度而休眠的时间。此时需要分析线程被阻塞的原因和时长。
1.2.3 通用分析流程
- 定义问题： 明确性能目标（延迟 < 10ms？吞吐量 > 1000 req/s？）。
- 建立基线： 在正常负载下采集系统指标，作为对比基准。
- 采集数据： 使用
perf top、perf record、sar等工具收集现场数据。 - 分析瓶颈： 按 USE 方法检查资源，按 Off-CPU 分析阻塞。
- 定位热点： 使用
perf top实时查看内核/用户态热函数。 - 提出假设： 基于数据推测根因（如某函数自旋锁竞争激烈）。
- 实施优化： 修改代码、调整参数、升级硬件。
- 验证效果： 重新采集数据，对比基线确认优化有效。
1.3 perf 工具家族简介
perf 是 Linux 内核官方提供的性能分析工具集，基于内核的 perf_event 子系统，支持硬件 PMU（Performance Monitoring Unit）计数、软件事件追踪、tracepoint 动态插桩、以及 kprobe/uprobe 动态探测。perf 家族覆盖了从“全局概览”到“微观指令级”的全栈分析能力。
| 工具/子命令 | 功能定位 | 典型场景 |
|---|---|---|
| perf top | 实时显示最热的函数（类似 top，但按 CPU 采样排序） | 快速定位当前系统热点函数 |
| perf stat | 运行命令并统计硬件/软件事件计数 | 评估程序 CPI、缓存命中率、分支预测 |
| perf record / report | 采样记录并生成分析报告 | 离线分析热点调用链、火焰图 |
| perf sched | 调度器延迟和上下文切换分析 | 定位调度延迟、负载不均 |
| perf probe | 动态添加 kprobe/uprobe 探测点 | 追踪特定函数入参、局部变量 |
| perf trace | 类似 strace，但基于 tracepoint，开销更低 | 追踪系统调用、信号、页错误 |
| perf c2c | 缓存一致性（Cache-to-Cache）分析 | 多核 NUMA 架构下的伪共享问题 |
| perf lock | 锁竞争分析 | 定位内核/用户态锁争抢热点 |
课程聚焦： 本课程将重点深入
perf top 的实时分析能力，结合 perf record 和火焰图，系统讲解如何从“看到热点”到“理解热点”再到“消除热点”的完整实战链路。
1.4 小结
本章建立了性能分析的整体认知框架：
- 为什么需要： 瓶颈定位、热点识别、异常诊断、容量规划、回归检测。
- 基本方法： USE 方法（资源视角）和 Off-CPU 分析（阻塞视角）互为补充。
- perf 家族： 从
perf top的实时概览到perf c2c的缓存一致性分析，覆盖全栈。