1. Linux 内核调试概述
1.1 调试的重要性：为什么内核调试如此困难？
Linux 内核是操作系统的核心，负责进程调度、内存管理、设备驱动、文件系统和网络协议栈等关键功能。内核运行在 CPU 的最高特权级（Ring 0），一旦出现 Bug，后果往往是系统崩溃（Kernel Panic）、数据损坏或安全漏洞。与用户态程序不同，内核调试面临以下独特挑战：
- 无进程上下文：内核崩溃时，无法依赖标准调试器（如 GDB）进行交互式调试。
- 实时性与并发：内核需要处理中断、软中断、多核并发，调试行为本身可能改变时序，导致 Heisenbug（观察者效应）。
- 资源受限：内核没有标准输出设备，printk 日志可能丢失或影响性能。
- 硬件依赖：驱动 Bug 往往与特定硬件平台绑定，难以在模拟器中复现。
经验法则： 内核调试中，80% 的 Bug 可以通过静态分析、代码审查和日志定位；剩余 20% 的时序/并发问题才需要动态追踪工具。不要一开始就上重型工具，先确认问题现象和复现条件。
1.2 常见内核调试方法对比
Linux 内核社区经过多年发展，沉淀了多种调试手段。下表从侵入性、实时性、适用场景和学习曲线四个维度进行对比：
| 调试方法 | 侵入性 | 实时性 | 典型场景 | 学习曲线 |
|---|---|---|---|---|
| printk | 低（仅日志输出） | 低（可能延迟） | 早期开发、驱动调试 | ★☆☆☆☆ |
| kgdb | 高（需暂停内核） | 高（断点暂停） | 复杂逻辑断点调试 | ★★★★☆ |
| ftrace | 极低（静态插桩） | 高（零拷贝追踪） | 函数调用、延迟分析 | ★★★☆☆ |
| perf | 低（硬件计数器） | 高（PMU 采样） | 性能分析、热点定位 | ★★★☆☆ |
| eBPF | 极低（沙箱执行） | 高（JIT 编译） | 动态追踪、安全监控 | ★★★★★ |
选择建议：
- 如果只是确认某个函数是否被调用 → printk 或 ftrace。
- 如果需要单步执行内核代码 → kgdb（配合串口或 QEMU）。
- 如果需要分析 CPU 流水线停顿或缓存 miss → perf。
- 如果需要自定义追踪逻辑且不想重新编译内核 → eBPF。
1.3 课程目标与前置知识
课程目标
本课程旨在帮助学员从零开始搭建 Linux 内核调试环境，并深入掌握 ftrace 这一核心追踪工具。完成本课程后，你将能够：
- 独立搭建内核调试环境：包括编译自定义内核、配置 QEMU/KVM 虚拟机、挂载 debugfs/tracefs。
- 熟练使用 ftrace 基础功能：函数追踪（function tracer）、函数图追踪（function_graph tracer）、事件追踪（event tracing）。
- 掌握 ftrace 高级特性：trace_marker、instances、触发器和过滤表达式。
- 结合其他工具进行综合调试：ftrace + perf + eBPF 的协同使用策略。
- 能够分析真实内核问题：如调度延迟、中断响应异常、驱动超时等。
前置知识要求
| 知识领域 | 要求 | 说明 |
|---|---|---|
| C 语言 | 熟练 | 能阅读内核源码中的函数实现和宏定义 |
| Linux 基础操作 | 熟练 | 文件系统、进程管理、命令行操作 |
| 操作系统原理 | 了解 | 进程调度、中断、内存管理基本概念 |
| Git 版本控制 | 基础 | 能够克隆内核仓库、切换分支 |
| Makefile 构建 | 基础 | 理解内核 Kbuild 系统的基本流程 |
注意： 本课程所有实验均在虚拟机或专用调试机器上进行。切勿在生产环境直接编译和加载未经验证的内核模块或开启 ftrace 全量追踪，可能导致系统性能严重下降甚至崩溃。
1.4 调试环境快速验证
在正式开始课程之前，建议先确认你的开发机是否具备基本的内核调试条件。执行以下命令快速检查：
# 检查内核版本（建议 5.10+）
uname -r
# 检查 debugfs 是否挂载
mount | grep debugfs
# 检查 tracefs 是否可用
ls /sys/kernel/tracing/ 2>/dev/null || ls /sys/kernel/debug/tracing/ 2>/dev/null
# 检查 perf 是否可用
perf --version
# 检查内核是否支持 ftrace
cat /proc/sys/kernel/ftrace_enabled 2>/dev/null || echo "ftrace not enabled"
提示： 如果上述命令返回错误或显示 "ftrace not enabled"，不要担心。本课程第 2 章将详细讲解如何从源码编译一个开启所有调试选项的内核。你只需要确保有一台 x86_64 架构的 Linux 机器（物理机或虚拟机均可），并拥有 root 权限。