1. ftrace概述
ftrace（Function Tracer）是 Linux 内核中内置的跟踪基础设施，用于捕获内核运行时的事件、函数调用和性能数据。它由 Steven Rostedt 于 2008 年开发并合入 Linux 2.6.27 主线，经过十余年迭代，已成为内核调试、性能分析和故障定位的“第一工具”。
一句话定义：ftrace 是一个零开销（编译时插入）或极低开销（动态插桩）的内核跟踪框架，支持函数调用跟踪、事件跟踪、延迟测量和调用栈分析，无需加载外部模块即可使用。
1.1 起源：从延迟测量到通用跟踪框架
ftrace 的诞生源于对内核实时性（Real-Time）和调度延迟的测量需求。2006 年前后，Linux 内核社区在推进 RT-Preempt 补丁时，缺乏一种轻量级、低开销的函数级延迟测量手段。Steven Rostedt 最初编写了一个名为 latency_tracer 的工具，专门测量中断关闭时间、抢占关闭时间和调度延迟。该工具后来演变为 ftrace 的 irqsoff、preemptoff 和 wakeup 跟踪器。
随着内核版本演进，ftrace 从单一的延迟跟踪器扩展为通用跟踪框架，逐步加入以下核心能力：
- 函数跟踪（Function Tracer）：记录内核函数的进入和退出。
- 函数图跟踪（Function Graph Tracer）：显示函数调用链路和子函数耗时。
- 动态插桩（Dynamic Ftrace）：运行时启用/禁用跟踪点，无需重新编译内核。
- 事件跟踪（Trace Events）：基于 tracepoint 的系统调用、中断、调度等事件记录。
- 栈跟踪（Stack Trace）：记录函数调用栈信息。
关键里程碑：
| 内核版本 | 引入特性 | 意义 |
|---|---|---|
| 2.6.27 (2008) | ftrace 初始版本 | 包含 irqsoff/preemptoff/wakeup 跟踪器 |
| 2.6.28 (2008) | Function Tracer | 支持函数调用记录 |
| 2.6.30 (2009) | Function Graph Tracer | 支持调用链路与耗时显示 |
| 2.6.31 (2009) | Dynamic Ftrace | 运行时动态插桩，降低开销 |
| 2.6.33 (2010) | Trace Events | 基于 tracepoint 的事件跟踪 |
| 3.1 (2011) | perf 集成 ftrace | perf 工具可调用 ftrace 数据 |
| 4.1 (2015) | trace_printk() | 内核动态打印到 trace buffer |
1.2 发展历史：从专用工具到内核标配
ftrace 的发展可分为三个阶段：
- 萌芽期（2006-2008）：latency_tracer 作为独立补丁存在，用于 RT-Preempt 延迟测量。代码量约 2000 行，仅支持 x86 架构。
- 成长期（2008-2012）：合入主线后快速扩展，加入函数跟踪、函数图跟踪、动态插桩和事件跟踪。支持架构扩展到 ARM、PowerPC、MIPS 等。tracefs 文件系统（
/sys/kernel/tracing）成为用户接口。 - 成熟期（2012-至今）：ftrace 成为内核调试标配，与 perf、eBPF 等工具协同工作。新增
trace_printk()、trace_marker、hist triggers等高级功能。社区持续优化动态插桩性能，使其在生产环境中也可使用。
注意：ftrace 与 eBPF 并非竞争关系。ftrace 擅长函数级跟踪和延迟测量，eBPF 擅长自定义数据采集和网络/安全场景。两者常配合使用：eBPF 程序可通过 ftrace 的 tracepoint 或 kprobe 挂载点采集数据。
1.3 核心地位：为什么 ftrace 是内核调试的基石
ftrace 在 Linux 内核调试生态中占据核心地位，原因如下：
| 优势 | 说明 | 对比其他工具 |
|---|---|---|
| 零依赖 | 内置于内核主线，无需安装额外软件包 | SystemTap 需要编译内核模块；LTTng 需要用户态守护进程 |
| 低开销 | 动态插桩仅在启用时插入 nop 指令，关闭时零开销 | kgdb 会暂停内核；perf 在采样模式下仍有少量开销 |
| 函数级精度 | 可跟踪每个内核函数的调用与返回 | perf 主要基于采样和计数器；eBPF 需要编写 BPF 程序 |
| 调用链路可视化 | Function Graph 直接显示父子函数关系与耗时 | perf 调用链需要后处理；LTTng 需要解析 CTF 格式 |
| 生产环境安全 | 动态插桩不会导致内核崩溃，可安全用于线上问题排查 | kprobe 使用不当可能造成死锁；SystemTap 有内核模块加载风险 |
典型应用场景：
- 驱动开发：跟踪 probe/remove/open/read/write 等函数调用链路。
- 性能优化：定位函数级延迟热点，测量中断关闭时间。
- 故障定位：查看系统调用进入内核后的完整执行路径。
- 内核学习：通过函数调用图理解内核子系统的执行流程。
1.4 ftrace 架构概览
下图展示了 ftrace 的整体架构，包括用户接口、核心框架、跟踪器和数据输出路径：
1.5 ftrace 与同类工具的对比
为了更清晰地理解 ftrace 的定位，下表将其与 Linux 生态中其他主流跟踪/调试工具进行对比：
| 工具 | 跟踪粒度 | 开销 | 生产环境可用 | 学习曲线 | 典型场景 |
|---|---|---|---|---|---|
| ftrace | 函数级/事件级 | 极低（动态插桩） | 是 | 中等 | 函数调用链路、延迟测量、驱动调试 |
| perf | 采样/计数器/事件 | 低 | 是 | 中等 | CPU 性能分析、缓存命中率、热点函数 |
| eBPF | 自定义（通过 BPF 程序） | 低 | 是 | 高 | 网络跟踪、安全监控、自定义数据采集 |
| SystemTap | 函数级/语句级 | 中等 | 需谨慎 | 高 | 复杂内核探测、动态脚本 |
| LTTng | 事件级 | 低 | 是 | 中等 | 全系统跟踪、分布式调试 |
| kgdb | 指令级 | 高（暂停内核） | 否 | 高 | 内核崩溃分析、汇编级调试 |
ftrace 的独特价值：在驱动调试场景中，ftrace 是唯一一个无需任何外部依赖、无需编译内核模块、无需编写脚本即可直接查看函数调用链路的工具。对于驱动开发者而言，ftrace 的 Function Graph 跟踪器可以直观地展示 probe、open、read、write、ioctl 等驱动接口函数的调用路径和耗时，是定位驱动问题的第一选择。