1. 课程导论：系统调用追踪的意义、ftrace 与 perf 概述、课程目标与前置知识
1.1 为什么需要追踪系统调用？
系统调用（syscall）是用户态程序请求内核服务的唯一合法入口。每一次文件读写、网络通信、进程创建、内存分配，最终都会通过系统调用陷入内核。因此，系统调用的执行路径、耗时、频率和错误，直接决定了应用程序的性能与稳定性。
追踪系统调用的核心价值体现在以下三个层面：
- 性能瓶颈定位：通过统计系统调用的延迟分布和调用频次，快速识别热点路径。例如，
read()系统调用平均耗时 50μs，但 P99 延迟达到 5ms，说明存在 I/O 阻塞或锁竞争。 - 异常行为诊断：当应用出现“卡顿”、“无响应”或“CPU 飙升”时，系统调用追踪可以揭示是否发生了意外的阻塞等待（如
epoll_wait超时）、无效的系统调用重试（如EAGAIN循环）或资源泄漏（如未关闭的文件描述符）。 - 安全审计与合规：记录所有敏感系统调用（如
execve、connect、open）的调用者、参数和时间戳，用于入侵检测和事后溯源。
经验法则：在 Linux 性能分析中，约 70% 的应用层性能问题可以通过系统调用追踪找到根因。优先追踪系统调用，往往比直接分析应用代码更高效。
1.2 系统调用追踪的挑战
传统的追踪手段（如 strace）虽然简单易用，但在生产环境中存在显著缺陷：
| 追踪工具 | 优势 | 生产环境缺陷 |
|---|---|---|
| strace | 零配置，直接输出调用名和参数 | 使用 ptrace 机制，每次系统调用产生两次上下文切换，性能开销可达 10x-100x；无法追踪内核内部执行路径 |
| gdb 断点 | 可单步调试，观察变量 | 暂停进程，无法用于高并发服务；侵入性极强 |
| perf 软件事件 | 低开销，支持采样 | 默认不记录系统调用参数和返回值，需要额外配置 |
| ftrace | 内核原生，零外部依赖，开销极低 | 配置复杂，trace 输出原始，需要解析 |
本课程的核心目标，就是教会你使用 ftrace 和 perf 这两款内核原生工具，以极低的开销（通常 < 5%）实现生产环境下的系统调用追踪，并能够解读追踪数据，定位深层问题。
1.3 ftrace 与 perf 概述
1.3.1 ftrace：内核内置的追踪框架
ftrace 是 Linux 内核自带的追踪基础设施，自 2.6.27 版本起集成。它通过静态插桩（tracepoints）和动态插桩（kprobes/uprobes）捕获内核函数执行事件。ftrace 的核心优势在于：
- 零外部依赖：只要内核编译时开启了
CONFIG_FTRACE，即可通过/sys/kernel/tracing/（或/sys/kernel/debug/tracing/）接口直接使用。 - 极低开销：静态 tracepoint 的开销仅为几条 CPU 指令，动态插桩的开销也远低于 ptrace。
- 丰富的追踪能力：支持函数调用图、事件追踪、延迟追踪（irqoff/preemptoff/wakeup）、栈回溯等。
ftrace 追踪系统调用的典型流程：
1. 挂载 tracefs：
2. 设置追踪器：
3. 开启事件：
4. 查看结果：
1. 挂载 tracefs：
mount -t tracefs tracefs /sys/kernel/tracing2. 设置追踪器：
echo syscalls > /sys/kernel/tracing/current_tracer3. 开启事件：
echo 1 > /sys/kernel/tracing/events/syscalls/sys_enter_read/enable4. 查看结果：
cat /sys/kernel/tracing/trace
1.3.2 perf：性能事件采样与统计
perf 是 Linux 性能分析的核心工具集，基于性能监控单元（PMU）和内核事件子系统。与 ftrace 的“全量记录”不同，perf 默认采用 采样 模式，以可配置的频率（如 1000 Hz）记录事件，从而将开销控制在极低水平。
perf 追踪系统调用的两种主要模式：
- perf stat：统计系统调用的总数和耗时，不记录细节。例如
perf stat -e syscalls:sys_enter_read ./a.out。 - perf record + perf script：采样记录系统调用事件，并输出调用栈和参数。例如
perf record -e syscalls:sys_enter_openat -a -g -- sleep 10。
注意：perf 的采样模式在低频事件（如每秒仅几次的系统调用）下可能丢失数据。对于低频但关键的系统调用（如
execve），建议使用 ftrace 的全量追踪模式。
1.4 系统调用追踪技术全景图
下图展示了从用户态应用发起系统调用，到内核完成处理并返回的完整路径，以及 ftrace 和 perf 在其中的插桩位置。
1.5 课程目标与学习路径
完成本课程后，你将具备以下能力：
- 熟练使用 ftrace：配置 tracepoint 追踪特定系统调用，使用 kprobe 动态插桩追踪内核函数，解析 trace 输出并提取关键指标。
- 熟练使用 perf：使用
perf stat统计系统调用计数，使用perf record采样系统调用事件并生成火焰图，结合perf script输出调用栈。 - 综合诊断能力：结合 ftrace 的全量追踪和 perf 的采样统计，定位系统调用层面的性能瓶颈（如高延迟、高频次、错误重试）。
- 生产环境安全实践：掌握在生产服务器上以最小开销进行追踪的技巧，包括事件过滤、缓冲区管理、动态启用/禁用。
1.6 前置知识要求
为了顺利学习本课程，建议你具备以下基础：
| 知识领域 | 具体要求 | 推荐学习资源 |
|---|---|---|
| Linux 基础操作 | 熟练使用命令行，理解进程、文件描述符、信号等基本概念 | 《鸟哥的 Linux 私房菜》基础篇 |
| C 语言基础 | 能阅读简单的 C 代码，理解函数调用、指针、结构体 | 《C Primer Plus》前 10 章 |
| Linux 内核基础 | 了解用户态与内核态的区别，理解系统调用的大致流程 | 《Linux 内核设计与实现》第 1-5 章 |
| /proc 与 /sys 文件系统 | 知道如何通过 /proc 和 /sys 查看内核参数和状态 |
内核文档 Documentation/filesystems/proc.txt |
实验环境建议：
- 内核版本 ≥ 4.19（推荐 5.10+，以支持最新的 tracepoint 和 BPF 辅助功能）
- 发行版：Ubuntu 20.04+ 或 CentOS 8+
- 确保内核编译选项：
- 检查方式：
- 内核版本 ≥ 4.19（推荐 5.10+，以支持最新的 tracepoint 和 BPF 辅助功能）
- 发行版：Ubuntu 20.04+ 或 CentOS 8+
- 确保内核编译选项：
CONFIG_FTRACE=y、CONFIG_PERF_EVENTS=y、CONFIG_KPROBES=y- 检查方式：
cat /boot/config-$(uname -r) | grep -E 'FTRACE|PERF_EVENTS|KPROBES'