4. Crash工具概述

Crash 工具是 Linux 内核调试领域最核心的离线分析工具之一，专门用于对内核转储文件（vmcore）或正在运行的系统内核进行交互式分析。它由 Dave Anderson 于 1999 年创建，最初作为 SGI（Silicon Graphics）内部工具，后于 2004 年开源并进入社区维护，现已成为 Linux 内核调试事实上的标准工具。

4.1.1 功能定位

Crash 工具的核心能力可以概括为“内核内存快照的交互式解释器”。它能够解析 vmcore 中的内核数据结构、内存布局、进程状态、堆栈回溯等信息，并提供类似 GDB 的命令行交互界面。其主要功能包括：

  • 进程/线程分析：查看所有进程状态、进程栈、寄存器、CPU 上下文。
  • 内存管理分析：查看物理内存映射、页表、slab 分配器、vmalloc 区域。
  • 文件系统与块设备：分析超级块、inode、dentry、buffer head 等结构。
  • 网络协议栈：查看 socket、sk_buff、网络设备状态。
  • 锁与同步：检测死锁、查看自旋锁、信号量、rwlock 持有者。
  • 内核日志与 Oops：解析 dmesg 环形缓冲区，定位 panic 现场。
关键认知：Crash 工具不依赖目标系统运行，它通过解析 vmlinux 调试符号和 vmcore 内存快照，在离线环境中重建内核运行现场。这使得它成为生产环境故障排查的“最后一道防线”。

4.1.2 与其他调试工具的对比

Linux 内核调试工具链中，Crash、GDB、LTTng 各有侧重。下表从多个维度进行对比：

对比维度 Crash GDB LTTng
主要用途 内核转储离线分析 用户态/内核态在线调试 内核/用户态跟踪
工作模式 离线（vmcore） 在线（live）/离线（core dump） 在线（trace 采集）
数据结构感知 强（内置内核结构解析） 弱（需手动偏移计算） 无（仅记录事件）
性能开销 无（离线分析） 高（在线断点） 低（内核 tracepoint）
适用场景 内核 panic、死锁、内存泄漏 驱动开发、内核模块调试 性能分析、行为追踪
学习曲线 中（需内核知识） 高（需汇编/偏移知识） 中（需 trace 事件理解）

工具选择原则：

  • 生产环境内核崩溃 → 首选 Crash + Kdump
  • 开发阶段驱动调试 → 首选 GDB + kgdb
  • 性能瓶颈定位 → 首选 LTTng + perf
  • 复杂内存损坏 → Crash + GDB 联合分析

4.1.3 Crash 工具架构

Crash 工具的内部架构分为三层：输入层、解析引擎层、交互层。下图展示了其核心组件与数据流：

Crash 工具三层架构 输入层（Input Layer） vmcore（ELF/压缩格式） vmlinux（带调试符号的内核镜像） 解析引擎层（Parsing Engine） 内核数据结构解析器（task_struct, mm_struct, page 等） 符号表解析器（kallsyms + debuginfo） 内存布局重建器（物理地址 → 虚拟地址映射） 交互层（Interactive Layer） 命令行解释器（bt, ps, vm, files, log 等 100+ 命令） 输出格式化器（结构体字段对齐、颜色高亮） 支持 gdb 模块扩展

4.1.4 Crash 的安装与基本验证

安装方式

Crash 工具在主流发行版中均可通过包管理器直接安装：

发行版 安装命令 依赖说明
RHEL/CentOS 7/8/9 yum install crash 或 dnf install crash 需启用 EPEL 或 BaseOS 仓库
Ubuntu/Debian apt install crash 默认仓库包含
Fedora dnf install crash 默认仓库包含
openSUSE zypper install crash 默认仓库包含
源码编译 git clone https://github.com/crash-utility/crash.git
cd crash && make		 需安装 ncurses-devel、zlib-devel
版本兼容性警告：Crash 工具版本必须与目标内核版本匹配。建议使用发行版官方打包版本，或从 GitHub Releases 下载与内核版本对应的二进制。版本不匹配会导致结构体偏移错误，输出乱码或直接崩溃。

基本验证步骤

安装完成后，通过以下步骤验证 Crash 工具是否正常工作：

  1. 检查版本：运行 crash --version，确认输出包含版本号和构建日期。
  2. 获取调试内核：确保 /usr/lib/debug/lib/modules/$(uname -r)/vmlinux 或 /boot/vmlinux-$(uname -r) 存在。若缺失，安装 kernel-debuginfo 包。
  3. 启动交互会话：执行 crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /proc/kcore（注意：/proc/kcore 需要 root 权限）。
  4. 运行基本命令：在 crash 提示符下输入 bt 查看当前内核栈，输入 ps 查看进程列表。
  5. 退出：输入 quit 或 exit。

验证示例输出：

# crash /usr/lib/debug/lib/modules/5.14.0-284.el9.x86_64/vmlinux /proc/kcore

crash 7.3.2
Copyright (C) 2002-2022  Red Hat, Inc.
...
      KERNEL: /usr/lib/debug/lib/modules/5.14.0-284.el9.x86_64/vmlinux
    DUMPFILE: /proc/kcore  [PARTIAL DUMP]
        CPUS: 4
        DATE: Wed Mar 15 10:30:45 2023
      UPTIME: 00:45:12
LOAD AVERAGE: 0.08, 0.03, 0.01
       TASKS: 256
    NODENAME: server01
     RELEASE: 5.14.0-284.el9.x86_64
     VERSION: #1 SMP PREEMPT_DYNAMIC Wed Mar 8 10:30:00 2023
     MACHINE: x86_64  (2400 Mhz)
      MEMORY: 8 GB
       PANIC: ""

crash> bt
PID: 1      TASK: ffff8a0f80008000  CPU: 0   COMMAND: "systemd"
 #0 [fffffe0000002000] crash_nmi_callback at ffffffff8103e2d0
 #1 [fffffe0000002010] nmi_handle at ffffffff8103e4f0
 #2 [fffffe0000002040] default_do_nmi at ffffffff8103e6a0
 #3 [fffffe0000002060] exc_nmi at ffffffff8103e8b0
 #4 [fffffe0000002080] end_repeat_nmi at ffffffff81e00c5e
    [exception RIP: native_safe_halt+0xe]
    RIP: ffffffff8104f0be  RSP: ffff8a0f801fbf78  RFLAGS: 00000246
    RAX: 0000000000000000  RBX: 0000000000000000  RCX: 0000000000000000
    RDX: 0000000000000000  RSI: 0000000000000000  RDI: 0000000000000000
    RBP: ffff8a0f801fbf78   R8: 0000000000000000   R9: 0000000000000000
    R10: 0000000000000000  R11: 0000000000000000  R12: 0000000000000000
    R13: 0000000000000000  R14: 0000000000000000  R15: 0000000000000000
    ORIG_RAX: ffffffffffffffff  CS: 0010  SS: 0018
--- <NMI exception stack> ---
 #5 [ffff8a0f801fbf78] native_safe_halt at ffffffff8104f0be
 #6 [ffff8a0f801fbf80] default_idle at ffffffff8104f130
 #7 [ffff8a0f801fbf90] default_idle_call at ffffffff8104f1a0
 #8 [ffff8a0f801fbfa0] do_idle at ffffffff8104f2c0
 #9 [ffff8a0f801fbfd0] cpu_startup_entry at ffffffff8104f4a0
#10 [ffff8a0f801fbff0] rest_init at ffffffff810e0e40

crash> ps
   PID    PPID  CPU   TASK        ST  %MEM     VSZ    RSS  COMM
>     0      0   0  ffff8a0f80000000  RU   0.0       0      0  [swapper/0]
      1      0   0  ffff8a0f80008000  IN   0.0  225640  12340  systemd
      2      0   0  ffff8a0f80010000  IN   0.0       0      0  [kthreadd]
      3      2   0  ffff8a0f80018000  IN   0.0       0      0  [rcu_gp]
      4      2   0  ffff8a0f80020000  IN   0.0       0      0  [rcu_par_gp]
      5      2   0  ffff8a0f80028000  IN   0.0       0      0  [slub_flushwq]
      6      2   0  ffff8a0f80030000  IN   0.0       0      0  [netns]
    ...

crash> quit

4.1.5 常见问题与排错

问题现象 可能原因 解决方案
crash: cannot resolve "init_task" vmlinux 与内核版本不匹配 安装对应版本的 kernel-debuginfo 包
crash: /proc/kcore: Permission denied 非 root 用户访问 /proc/kcore 使用 sudo 或以 root 身份运行
crash: cannot open dump file vmcore 文件损坏或格式不支持 检查 vmcore 完整性，确认是 ELF 或压缩格式
bt 输出全是问号 缺少调试符号或 kallsyms 未加载 确认 vmlinux 包含 debuginfo，或使用 mod -s 加载模块符号
生产环境建议：在部署 Kdump 之前，先使用 /proc/kcore 验证 Crash 工具能否正常解析当前运行内核。这可以提前发现符号表缺失、版本不匹配等问题，避免在真正需要分析 vmcore 时才发现工具不可用。
← 上一章 📖 返回目录 下一章 →