2. 内核崩溃基础：Oops信息解读、panic流程、kdump与crash工具简介

内核崩溃是Linux系统最严重的运行时故障之一。当内核检测到无法恢复的错误时，会通过Oops或panic机制向开发者报告现场信息。本章将系统性地拆解内核崩溃的完整生命周期：从Oops信息的结构、panic的执行流程，到kdump与crash工具的核心用法。

2.1 Oops信息解读

Oops是内核在非致命错误（如NULL指针解引用、非法内存访问）时输出的诊断信息。它不会立即停止系统，但可能导致进程被杀死或系统不稳定。一个典型的Oops信息包含以下关键字段：

2.1.1 Oops信息结构SVG

2.2 panic流程

当内核遇到无法恢复的致命错误（如内核态死锁、严重内存损坏、关键数据结构被破坏）时，会调用panic()函数。panic流程是内核崩溃的最终阶段，其执行路径如下：

1. 触发条件：内核代码调用panic()，传入格式化字符串作为错误描述。
2. 原子操作：panic内部先关闭本地中断，设置panic标志，防止递归触发。
3. 信息输出：打印panic消息、CPU寄存器、调用栈、内核版本等诊断信息。
4. 通知子系统：调用panic_notifier_list中的通知链，通知kdump、netconsole等模块。
5. 刷新控制台：调用console_flush_on_panic()确保所有日志输出到串口或显示器。
6. 系统停止/重启：根据panic_timeout参数决定是无限等待（默认）、自动重启还是进入kdump。

2.2.1 panic执行流程SVG

2.3 kdump机制

kdump是Linux内核崩溃转储的核心机制。它利用kexec系统调用，在系统崩溃时快速启动一个捕获内核（capture kernel），将崩溃内核的内存镜像保存到磁盘或网络。kdump的关键组件包括：

2.3.1 kdump工作架构SVG

2.4 crash工具简介

crash是分析vmcore的核心工具，由Red Hat维护。它提供了一个类似gdb的交互式环境，专门用于分析内核崩溃转储文件。crash的核心能力包括：

• 栈回溯：使用bt命令查看进程或CPU的内核调用栈。
• 内存查看：使用rd、p、struct命令读取内存和数据结构。
• 符号解析：自动加载内核符号表和调试信息。
• 进程遍历：使用ps命令列出所有进程及其状态。
• 日志提取：使用log命令提取dmesg环形缓冲区。
• 模块分析：使用mod命令查看加载的内核模块。

# 启动crash分析vmcore
crash /usr/lib/debug/lib/modules/5.10.0/vmlinux /var/crash/127.0.0.1-2024-01-15-10:30/vmcore

crash> bt      # 查看当前CPU的调用栈
crash> ps      # 列出所有进程
crash> log     # 提取内核日志
crash> struct task_struct ffff880012345678  # 查看指定进程结构体
crash> rd ffff880012345678 10  # 读取指定地址的10个8字节值
crash> mod -S   # 加载所有模块的调试符号

2.4.1 crash工具分析流程SVG

2.5 本章小结

内核崩溃调试的核心在于理解三个层次：

• Oops信息是内核崩溃的第一现场，RIP和Call Trace是定位故障的黄金线索。
• panic流程是内核崩溃的最终处理路径，理解其执行顺序有助于判断哪些资源可用。
• kdump + crash是生产环境最可靠的崩溃分析方案，kdump负责保存现场，crash负责事后分析。