1. 课程导论：内核异常的本质、ftrace与栈回溯的协同价值、课程目标与前置知识
1.1 内核异常的本质：从硬件异常到系统崩溃
Linux 内核运行在 CPU 的最高特权级（Ring 0），负责管理进程调度、内存分配、设备驱动等核心资源。当内核代码执行过程中遇到无法恢复的错误时，便会触发内核异常。这些异常并非随机故障，而是有迹可循的硬件-软件交互事件链。
内核异常通常由以下三类原因引发：
- 硬件异常（CPU Exception）：如除零错误（#DE）、无效操作码（#UD）、页错误（#PF）、通用保护错误（#GP）等。CPU 会通过中断描述符表（IDT）跳转到对应的异常处理函数。
- 软件 BUG：空指针解引用、缓冲区溢出、死锁、原子上下文睡眠、内存越界访问等。这类异常最终往往表现为页错误或 GP 错误。
- 硬件故障：内存 ECC 错误、PCIe 总线错误、CPU 缓存一致性错误等。这类异常通常通过 Machine Check Exception（MCE）上报。
关键认知： 内核异常定位的本质，是从崩溃现场（寄存器、栈、内存）逆向还原出触发异常的代码路径，并找到根因。ftrace 提供的是执行轨迹，栈回溯提供的是调用链快照，两者结合才能完整还原事故现场。
1.2 内核异常分类与典型表现
| 异常类型 | 典型触发场景 | 内核日志特征 | 定位难度 |
|---|---|---|---|
| Oops | 空指针解引用、非法内存访问 | 寄存器 dump、栈回溯、指令指针 | 中等 |
| Panic | 内核关键数据结构损坏、BUG_ON() | 系统完全挂起或重启 | 高 |
| Kernel NULL Pointer Dereference | 访问虚拟地址 0x0 附近 | “Unable to handle kernel NULL pointer dereference” | 低-中等 |
| Soft Lockup | CPU 长时间处于关中断循环 | “BUG: soft lockup” + 调用栈 | 高 |
| Hard Lockup | CPU 中断完全被屏蔽且不调度 | NMI 触发 hard lockup 检测 | 极高 |
| Kernel BUG | BUG()/BUG_ON() 宏触发 | “kernel BUG at file.c:123!” | 低 |
1.3 ftrace 与栈回溯的协同价值
ftrace 是 Linux 内核内置的跟踪框架，能够以极低开销记录函数调用、事件触发、时间戳等信息。栈回溯（Stack Backtrace）则是从当前栈帧中逐级还原函数调用链的技术。两者协同的价值体现在三个维度：
- 时间维度互补：栈回溯只提供崩溃瞬间的调用链快照；ftrace 提供崩溃前的函数执行流水账，帮助定位状态是如何演变的。
- 空间维度互补：栈回溯只能看到当前 CPU 的调用链；ftrace 可以同时跟踪多个 CPU、多个进程的交互，揭示并发竞争或资源依赖。
- 因果链还原：栈回溯告诉你“在哪里崩溃”，ftrace 告诉你“崩溃前执行了什么”，两者结合才能回答“为什么崩溃”。
1.4 课程目标
本课程旨在帮助学员建立一套系统化的内核异常定位方法论，核心目标如下：
- 掌握 ftrace 核心机制：理解 function tracer、function_graph tracer、event tracer 的工作原理与配置方法。
- 精通栈回溯分析：能够从 Oops/Panic 日志中提取有效栈回溯，并手动或自动还原调用链。
- 学会联合诊断：在真实故障场景中，同时使用 ftrace 和栈回溯数据，交叉验证定位根因。
- 实战驱动：通过 10+ 个真实内核异常案例（空指针、死锁、内存越界、软锁等）进行演练。
学习建议： 本课程要求学员具备一定的内核编程基础。建议在学习过程中搭建一个 QEMU + 自定义内核的实验环境，边学边练效果最佳。
1.5 前置知识要求
| 知识领域 | 具体要求 | 推荐学习资源 |
|---|---|---|
| C 语言 | 指针、内存管理、函数调用约定 | 《C程序设计语言》 |
| Linux 内核基础 | 进程调度、内存管理、中断处理基本概念 | 《Linux内核设计与实现》 |
| 汇编基础 | x86-64 寄存器、栈帧结构、调用指令 | 《深入理解计算机系统》 |
| 调试工具 | gdb 基本使用、dmesg 日志分析 | 内核文档 Documentation/admin-guide/bug-hunting.rst |
| 内核编译 | 能够配置、编译、安装自定义内核 | 内核文档 Documentation/process/howto.rst |
1.6 课程内容概览
本课程共 30 章，分为四大模块：
- 模块一（第 1-5 章）：基础篇 — 内核异常分类、ftrace 原理、栈回溯原理、环境搭建。
- 模块二（第 6-15 章）：ftrace 实战 — function tracer、function_graph、event tracer、trace_printk、trace_marker 等。
- 模块三（第 16-25 章）：栈回溯实战 — Oops 分析、panic 分析、手动栈回溯、kdump/crash 工具。
- 模块四（第 26-30 章）：联合诊断案例 — 空指针、死锁、内存越界、软锁、驱动故障等综合案例。
重要提示： 本课程所有案例均基于 Linux 5.10 LTS 内核版本。不同内核版本的 ftrace 接口和栈回溯格式可能存在差异，请以实际环境为准。
1.7 实验环境准备
为获得最佳学习效果，建议按以下步骤搭建实验环境：
- 安装 QEMU：
sudo apt install qemu-system-x86 - 下载 Linux 5.10 内核源码：
git clone --depth 1 -b v5.10 git://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git - 配置内核：
make defconfig并启用 ftrace 相关选项（CONFIG_FUNCTION_TRACER、CONFIG_STACKTRACE 等）。 - 编译内核：
make -j$(nproc) - 制作根文件系统：使用 Buildroot 或 BusyBox 制作最小根文件系统。
- 启动 QEMU：
qemu-system-x86_64 -kernel arch/x86/boot/bzImage -initrd rootfs.cpio.gz -append "console=ttyS0" -nographic
环境验证： 启动后执行
cat /sys/kernel/debug/tracing/available_tracers，如果输出包含 function function_graph，则 ftrace 已正确启用。