📚 课程目录第2章 Linux性能分析基础

火焰图与perf结合：Linux内核热点函数定位与优化 - 第2节

2.1 性能分析的核心指标

在定位内核热点之前，必须建立统一的性能度量体系。Linux 性能分析通常围绕三个黄金指标展开：吞吐量、延迟和CPU 利用率。这三个指标相互关联，单独看任何一个都可能产生误导。

2.1.1 吞吐量 (Throughput)

吞吐量衡量系统在单位时间内完成的工作量。对于不同的子系统，其含义略有不同：

子系统	吞吐量指标	常用工具
网络	每秒传输字节数 (Bps)、每秒数据包数 (pps)	sar -n DEV, iftop
磁盘 I/O	每秒读写请求数 (IOPS)、每秒传输字节数	iostat -x, sar -d
CPU	每秒完成的上下文切换数、每秒中断数	vmstat, pidstat
内存	每秒页面换入/换出数	sar -B, vmstat

2.1.2 延迟 (Latency)

延迟衡量请求从发出到完成所消耗的时间。在性能分析中，尾延迟（如 P99 延迟）往往比平均延迟更能反映用户体验。延迟的构成通常包括：

排队延迟：请求在队列中等待服务的时间。
服务延迟：实际处理请求的时间。
传输延迟：数据在介质上传输的时间。

分析要点：当延迟升高时，不要立即归咎于内核。先检查是否因为吞吐量过大导致排队，再深入分析内核态的服务延迟。

2.1.3 CPU 利用率

CPU 利用率通常被误解为“CPU 有多忙”。实际上，它分为 用户态 (usr)、内核态 (sys)、等待 I/O (iowait)、软中断 (softirq) 和 硬中断 (irq) 等部分。高 CPU 利用率不一定是坏事，但 sys 占比过高 或 iowait 持续偏高 往往是性能瓶颈的信号。

2.2 性能瓶颈分类

根据资源类型，性能瓶颈通常分为四大类：CPU 瓶颈、内存瓶颈、I/O 瓶颈和网络瓶颈。每一类都有其独特的症状和排查工具。

2.2.1 CPU 瓶颈

CPU 瓶颈表现为进程长时间占用 CPU，或上下文切换频繁。典型场景包括：

用户态瓶颈：应用程序逻辑复杂，计算密集。
内核态瓶颈：系统调用频繁、锁竞争激烈、中断处理过多。
软中断瓶颈：网络收发包、定时器处理导致 softirq 占比过高。

排查命令示例：

# 查看 CPU 时间分布
top -n 1 | head -5

# 查看上下文切换次数
vmstat 1 3

# 追踪内核态热点（后续章节重点）
perf top -k 1

2.2.2 内存瓶颈

内存瓶颈不仅指物理内存不足，还包括 内存泄漏、大页使用不当、NUMA 失衡 等。关键指标包括：

指标	正常范围	瓶颈信号
Swap 使用率	0%	> 0% 且持续增长
缺页异常 (majflt)	接近 0	持续 > 100/s
内存带宽	取决于硬件	接近内存控制器上限

常见误区：free 命令显示的 "available" 内存很低并不一定代表瓶颈。Linux 会积极使用空闲内存做缓存（cache），这部分内存在需要时可以回收。应关注 swap 使用和 major page fault 频率。

2.2.3 I/O 瓶颈

I/O 瓶颈通常指磁盘或存储设备的读写性能不足。其特征是 iowait 升高 或 I/O 队列长度过长。使用 iostat -x 1 可以查看详细指标：

# 重点关注字段
Device   r/s   w/s   rkB/s   wkB/s  await  svctm  %util
sda      120   80    20480   10240   15.2   2.1    42.0

await：I/O 请求平均等待时间（含排队和服务）。
svctm：I/O 请求实际服务时间。
%util：设备繁忙百分比。接近 100% 表示设备饱和。

2.2.4 网络瓶颈

网络瓶颈涉及带宽、延迟、丢包和连接数。内核网络栈的处理效率直接影响应用性能。常见排查点：

软中断占比：cat /proc/softirqs 查看 NET_RX/NET_TX 计数。
接收队列溢出：netstat -i 查看 RX-OVR 字段。
套接字缓冲区：ss -m 查看接收/发送缓冲区占用。

2.3 瓶颈定位的通用方法论

面对一个性能问题，建议遵循以下步骤：

建立基线：在系统正常运行时记录关键指标，作为对比基准。
缩小范围：通过 top、vmstat 等工具快速判断瓶颈属于 CPU、内存、I/O 还是网络。
深入子系统：使用专项工具（如 perf、iostat、sar）获取详细数据。
定位热点函数：使用 perf record + 火焰图找到内核或用户态的热点函数。
验证优化效果：修改后重新采集数据，对比基线确认优化是否有效。