1. 课程导论：为什么需要 tracepoint 与 ftrace？文件系统调试的痛点与 trace 技术概览
1.1 文件系统调试的典型痛点
文件系统处于内核 VFS 层与块设备层之间，涉及页缓存、目录项缓存、inode 管理、日志事务、并发锁等多重复杂状态。当出现性能抖动、IO 延迟、死锁或数据损坏时，传统调试手段往往力不从心。
| 调试手段 | 典型局限 | 适用场景 |
|---|---|---|
| printk / 日志 | 需修改源码、重新编译、重启；生产环境不可用；日志量不可控 | 开发阶段快速验证 |
| gdb / kgdb | 断点会暂停整个内核；无法用于高并发 IO 路径；需要串口或网络 | 单步跟踪死锁或崩溃 |
| perf / eBPF | 学习曲线陡峭；eBPF 需要较新内核；对复杂文件系统语义支持有限 | 性能剖析、热点函数定位 |
| strace | 仅跟踪用户态系统调用；无法看到内核内部路径 | 应用层行为分析 |
| tracepoint + ftrace | 零修改、零重启、零侵入；生产环境安全；可精确到函数级 | 文件系统全路径调试 |
常见误区：很多工程师遇到文件系统问题第一反应是加 printk 或上 strace，但 printk 会改变内核执行时序（Heisenbug），strace 则完全看不到内核内部的 IO 调度、缓存策略和锁竞争。tracepoint 与 ftrace 组合才是生产环境文件系统调试的“黄金搭档”。
1.2 tracepoint 与 ftrace 的核心定位
tracepoint 是内核中预定义的静态探测点，分布在 VFS、ext4、XFS、Btrfs、块层、内存管理等关键路径上。ftrace 是内核内置的跟踪框架，可以动态开启/关闭 tracepoint、记录函数调用栈、测量函数执行时间。
- tracepoint：静态、稳定、语义明确，每个 tracepoint 有固定参数（如 inode 号、偏移量、长度、返回值）。
- ftrace：动态、灵活、可编程，支持 function tracer、function_graph tracer、trace_marker、触发器和过滤表达式。
- 组合优势：tracepoint 提供“观测点”，ftrace 提供“记录与过滤引擎”，两者结合可以零成本地捕获文件系统任意路径的完整执行流。
关键指标：ftrace 的典型开销在 1-5% 以内（仅开启少量 tracepoint 时），远低于 printk（可能超过 30%）。生产环境可以常开关键 tracepoint（如 ext4_*、block_rq_*），仅在需要时通过 ftrace 过滤和记录。
1.3 文件系统调试的典型场景与 trace 映射
| 调试场景 | 核心问题 | 对应 tracepoint / ftrace 能力 |
|---|---|---|
| IO 延迟抖动 | 哪个文件、哪个进程、哪个阶段耗时最长？ | block_rq_issue + block_rq_complete + ext4_es_lookup_extent |
| 元数据性能瓶颈 | 目录遍历、inode 分配、日志提交是否过慢？ | ext4_sync_file_enter/exit + jbd2_start_commit |
| 缓存命中率异常 | page cache 是否被频繁驱逐？dentry 缓存是否失效？ | mm_filemap_add_to_page_cache + dcache_lookup |
| 死锁或软锁 | 哪个锁被长时间持有？调用栈是什么？ | ftrace function_graph + lockdep tracepoint |
| 数据损坏溯源 | 写入顺序是否错乱？日志是否回放异常？ | jbd2_run_stats + ext4_journal_start_sb |
1.4 整体技术架构：tracepoint + ftrace 在文件系统调试中的位置
下图展示了从用户态系统调用到块设备 IO 完成的完整路径，以及 tracepoint 和 ftrace 在各层的部署位置。
实战要点：本课程将围绕上图中的每一层，讲解如何利用 tracepoint 捕获关键事件，再通过 ftrace 的 function_graph 追踪函数级调用链。例如，当发现 ext4 层 write_begin tracepoint 延迟异常时，可以立即开启 ftrace function_graph 查看 ext4_write_begin 内部哪个子函数耗时最长。
1.5 本课程的学习路径与能力目标
| 阶段 | 核心内容 | 产出能力 |
|---|---|---|
| 基础篇（第 1-5 章） | tracepoint 原理、ftrace 框架、常用文件系统 tracepoint 清单 | 能独立开启/关闭 tracepoint，理解 ftrace 输出格式 |
| 进阶篇（第 6-15 章） | function_graph 深度分析、过滤器与触发器、trace_marker 用户态协同 | 能定位 IO 延迟根因、分析锁竞争、追踪日志提交流程 |
| 实战篇（第 16-25 章） | ext4 性能调优、XFS 元数据瓶颈、Btrfs 数据损坏排查、块层 IO 栈分析 | 能独立解决生产环境文件系统疑难问题 |
| 高级篇（第 26-30 章） | 自定义 tracepoint、与 eBPF 协同、自动化调试脚本 | 能扩展调试工具链，编写可复用的 trace 脚本 |
前置要求：建议具备 Linux 内核基本概念（进程、内存、文件系统）、C 语言基础阅读能力、以及基本的命令行操作经验。本课程所有实验均在 Ubuntu 22.04 / 5.15+ 内核上验证通过。