1. 课程导论与内核调试全景
1.1 内核调试的核心挑战
Linux 内核作为操作系统的心脏，管理着进程调度、内存分配、文件系统、网络协议栈等核心子系统。当内核出现性能瓶颈、死锁、内存泄漏或驱动异常时，调试难度远高于用户态程序。内核调试面临以下主要挑战：
- 无用户态保护：内核崩溃直接导致系统宕机（Kernel Panic），无法像用户态进程那样被调试器捕获。
- 实时性与并发：中断上下文、软中断、多核竞态条件使得问题难以稳定复现。
- 资源受限：嵌入式环境中，存储空间、内存和串口带宽限制了日志和转储文件的规模。
- 黑盒效应：内核内部状态（函数调用链、调度延迟、中断响应时间）对普通开发者不可见。
关键认知：内核调试不是"能不能调试"的问题，而是"在有限的资源下，如何精准获取最关键的运行时信息"。
1.2 ftrace 与 perf 在调试工具链中的定位
Linux 内核社区提供了丰富的调试工具，它们在内核调试工具链中处于不同层级。下表对比了常用工具及其适用场景：
| 工具 | 定位 | 主要能力 | 开销 | 适用场景 |
|---|---|---|---|---|
| ftrace | 函数级追踪器 | 函数调用流、延迟、中断上下文 | 低（静态插桩） | 驱动异常、调度延迟、函数调用路径 |
| perf | 性能事件分析器 | CPU 周期、缓存命中、硬件计数器 | 中（采样模式） | 性能瓶颈、热点函数、上下文切换 |
| kgdb | 内核调试器 | 断点、单步、内存查看 | 高（暂停内核） | 逻辑错误、死锁分析 |
| trace-cmd | ftrace 前端 | 录制/回放追踪数据 | 低 | 远程/嵌入式追踪 |
| eBPF | 动态探针框架 | 自定义内核观测点 | 低（JIT 编译） | 动态注入、安全监控 |
ftrace 和 perf 之所以成为内核裁剪场景下的首选，是因为它们：
- 无需重启内核：通过 debugfs 或 tracefs 动态启用/禁用追踪点。
- 低开销设计：ftrace 的静态插桩在未启用时几乎零开销；perf 的采样模式对生产环境影响极小。
- 可裁剪性：在嵌入式系统中，可以只编译需要的追踪功能，减少内核体积。
1.3 课程目标与学习路径
本课程面向嵌入式 Linux 开发者、内核驱动工程师和系统性能优化人员，旨在帮助学员掌握在内核裁剪（即最小化内核配置）环境下，如何高效使用 ftrace 和 perf 进行故障排查。
课程核心目标
- 理解原理：掌握 ftrace 的静态插桩机制和 perf 的硬件/软件事件采样原理。
- 熟练操作：能够在裁剪后的内核中配置、编译并启用 ftrace 和 perf 相关选项。
- 实战排查：通过真实案例（调度延迟、中断风暴、内存碎片）演示工具链的使用方法。
- 性能优化：利用追踪数据定位性能瓶颈，指导内核配置裁剪与驱动优化。
学习路径图
1.4 内核裁剪对调试工具链的影响
在嵌入式或容器化场景中，内核通常经过裁剪以减小体积和攻击面。裁剪操作会直接影响 ftrace 和 perf 的可用性：
| 裁剪选项 | 影响范围 | 调试工具影响 | 推荐策略 |
|---|---|---|---|
| 关闭 CONFIG_FTRACE | ftrace 框架 | ftrace 完全不可用 | 保留为模块或静态编译 |
| 关闭 CONFIG_PERF_EVENTS | perf 子系统 | perf 命令无法使用 | 至少保留内核侧支持 |
| 关闭 DEBUG_FS | debugfs 挂载点 | ftrace 接口不可访问 | 改用 tracefs 或 sysfs |
| 关闭 KALLSYMS | 符号表 | ftrace 输出地址而非函数名 | 保留 KALLSYMS_ALL |
| 关闭 STACKTRACE | 栈回溯 | perf 无法获取调用链 | 保留栈回溯支持 |
实践警告：在生产环境中裁剪内核时，建议保留
CONFIG_FTRACE、CONFIG_PERF_EVENTS 和 CONFIG_KALLSYMS 为 y（或模块）。这些选项增加的内核体积通常小于 100KB，但能为故障排查提供关键能力。