4. CPU 热点分析基础：perf 工具安装与使用

性能分析的第一步是找到 CPU 时间花在了哪里。perf 是 Linux 内核提供的性能剖析工具，能够利用硬件性能计数器和内核跟踪点，精确测量 CPU 周期、指令数、缓存命中率等关键指标。本节将带你从安装到实战，掌握 perf 的核心命令。

4.1 perf 工具安装与环境确认

perf 通常随内核源码一起发布，但需要单独安装用户态工具。不同发行版的安装命令如下：

4.2 perf stat：快速统计程序性能概况

perf stat 用于在程序运行结束后输出汇总的性能计数器数据。它不会采样指令指针，而是统计整个运行期间的硬件事件总数。

基本用法：

# 统计 ls 命令的性能概况
perf stat ls

# 统计 DPDK 示例程序，运行 10 秒后自动停止
perf stat -a -- sleep 10

# 统计指定进程（PID）的性能数据
perf stat -p $(pgrep -n dpdk_proc) -- sleep 5

输出示例及关键字段解读：

 Performance counter stats for 'ls':

        132.45 msec task-clock                #    0.99 CPUs utilized
             3      context-switches          #   22.65 /sec
             0      cpu-migrations            #    0.00 /sec
           104      page-faults               #  785.23 /sec
     387,456,789      cycles                    #    2.93 GHz
     256,123,456      instructions              #    0.66  insn per cycle
      12,345,678      cache-references          #   93.21 M/sec
       1,234,567      cache-misses              #   10.00 % of all cache refs

4.3 perf record / report：定位热点函数

perf record 以固定频率（默认 4000 Hz）采样 CPU 的指令指针（IP），生成 perf.data 文件。perf report 则解析该文件，展示每个函数占用的 CPU 时间比例。

典型工作流：

# 1. 采样 DPDK 主进程 30 秒
sudo perf record -a -g -p $(pgrep -n dpdk_proc) -- sleep 30

# 2. 生成报告（交互式 TUI）
sudo perf report

# 3. 输出纯文本报告，便于保存和分析
sudo perf report --stdio --sort symbol --percent-limit 1

参数说明：

• -g：启用调用链（call-graph）采样，显示函数调用路径。
• -a：采集所有 CPU 核心。
• -p PID：只采集指定进程。
• --sort symbol：按函数符号排序。
• --percent-limit 1：只显示占比超过 1% 的函数。

报告输出示例：

# Overhead  Command      Shared Object         Symbol
# ........  .......  ...................  ...................
    35.20%  dpdk_proc  [kernel.kallsyms]   [k] _raw_spin_unlock_irqrestore
    12.45%  dpdk_proc  libpcap.so.1        [.] pcap_next_ex
     8.30%  dpdk_proc  dpdk_proc           [.] rte_eth_rx_burst
     5.10%  dpdk_proc  dpdk_proc           [.] process_packets
     4.80%  dpdk_proc  [kernel.kallsyms]   [k] copy_user_enhanced_fast_string

4.4 理解 CPU 周期、指令数与缓存命中率

这三个指标是性能分析的基石，它们之间的关系决定了程序的真实效率。

• CPU 周期（cycles）：CPU 执行指令的最小时间单位。程序运行时间 ≈ 周期数 × 时钟周期时间。周期数越高，程序越“吃”CPU。
• 指令数（instructions）：程序执行了多少条机器指令。指令数多不一定慢，但结合 IPC 才能判断效率。
• 缓存命中率（cache hit ratio）：CPU 在缓存中找到所需数据的比例。命中率低会导致 CPU 停顿等待内存，严重拉低 IPC。

三者关系可用以下公式表达：

程序执行时间 = 指令数 × CPI × 时钟周期时间
其中 CPI = Cycles Per Instruction = 1 / IPC

当缓存未命中时，CPI 会急剧上升（从 1~2 跳升到 10~100），导致程序性能断崖式下降。

4.5 实战：使用 perf 分析 DPDK 程序热点

以下是一个完整的 DPDK 性能分析流程，假设你已经有一个正在运行的 DPDK 转发程序（进程名 dpdk_fwd）。

1. 快速统计概况：sudo perf stat -p $(pgrep dpdk_fwd) -- sleep 10，观察 cache-misses 比例和 IPC。
2. 采样热点函数：sudo perf record -a -g -p $(pgrep dpdk_fwd) -- sleep 30。
3. 生成热点报告：sudo perf report --stdio --sort symbol --percent-limit 2。
4. 查看调用链：在交互式 TUI 中选中热点函数，按 Enter 展开调用链，定位是哪个函数调用了它。
5. 对比优化前后：保存优化前的 perf.data，优化后再次采样，使用 perf diff 对比差异。

4.6 常见问题与排查思路