2. dmesg入门：dmesg命令详解、内核环形缓冲区原理、常用过滤与格式化技巧

在文件系统故障排查中，dmesg 是运维人员最先接触的内核诊断工具。它直接读取内核环形缓冲区（Kernel Ring Buffer）中的日志，提供从驱动加载、设备识别到文件系统挂载、I/O 错误等全链路信息。掌握 dmesg 的用法，等于拥有了内核态的第一手现场记录。

2.1 内核环形缓冲区原理

内核环形缓冲区是一个固定大小的内存区域，用于存储内核产生的日志消息。其核心设计是循环覆盖：当缓冲区写满时，新消息会覆盖最旧的消息。这种设计保证了系统在长时间运行或高并发日志场景下，不会因日志溢出而耗尽内存。

关键特性：
  • 固定大小：默认大小通常为 128 KB（可通过内核参数 log_buf_len 调整）。
  • 循环写入：写指针到达末尾后自动回到头部，覆盖最早日志。
  • 原子操作：单条日志写入是原子的，不会出现跨行撕裂。
  • 多级缓冲：日志先写入 per-CPU 缓冲区，再批量刷入主环形缓冲区，减少锁竞争。
内核环形缓冲区结构图 日志1 日志2 日志3 日志4 日志5 日志6 日志7 日志8 写指针 读指针 (dmesg) 日志1 说明：写指针持续前进，读指针从当前位置读取；当写指针追上读指针时，旧日志被覆盖。
实战要点：在排查文件系统故障时，应尽早执行 dmesg 捕获日志。如果系统已运行很久，关键的错误日志可能已被后续消息覆盖。此时可考虑增大 log_buf_len 或使用 rsyslog 持久化内核日志。

2.2 dmesg 命令详解

dmesg 命令用于读取和控制内核环形缓冲区。其核心功能包括：查看日志、清除缓冲区、设置日志级别、控制输出格式等。

2.2.1 基本用法

命令 说明 典型场景
dmesg 打印所有内核日志 快速查看系统启动以来的所有消息
dmesg -c 打印并清除环形缓冲区 故障复现前清空，便于聚焦新日志
dmesg -r 显示原始日志格式（含时间戳和日志级别） 需要精确解析日志级别时使用
dmesg -T 将时间戳转换为可读时间 需要关联系统时间时使用
dmesg -n <level> 设置控制台日志级别 减少控制台输出，避免干扰
dmesg -w 实时等待新日志 监控文件系统挂载或 I/O 错误

2.2.2 日志级别与分类

内核日志按严重程度分为 8 个级别，从 KERN_EMERG（0）到 KERN_DEBUG（7）。在文件系统故障排查中，重点关注 KERN_ERR（3）及以上的日志。

级别编号 级别名称 含义 文件系统相关示例
0 KERN_EMERG 系统不可用 根文件系统挂载失败导致 panic
1 KERN_ALERT 必须立即处理 文件系统严重损坏，需要 fsck
2 KERN_CRIT 临界条件 文件系统元数据校验失败
3 KERN_ERR 错误条件 I/O 错误、设备断开、挂载失败
4 KERN_WARNING 警告 文件系统即将达到容量上限
5 KERN_NOTICE 正常但重要 文件系统挂载/卸载通知
6 KERN_INFO 信息 文件系统类型、挂载参数
7 KERN_DEBUG 调试信息 文件系统内部操作细节

2.3 常用过滤与格式化技巧

原始 dmesg 输出通常包含大量无关信息。掌握过滤技巧，可以快速定位文件系统相关日志。

2.3.1 基于关键词过滤

# 过滤文件系统相关日志
dmesg | grep -i "ext4\|xfs\|btrfs\|filesystem\|mount\|i/o error"

# 过滤错误级别日志
dmesg | grep -i "error\|fail\|critical\|alert"

# 过滤特定设备
dmesg | grep -i "sda\|nvme0n1"

# 过滤时间范围（结合 -T 和 awk）
dmesg -T | awk '/2025-03-10 10:00:00/,/2025-03-10 11:00:00/'

2.3.2 基于日志级别过滤

使用 -l 或 --level 参数直接按级别过滤，避免 grep 误匹配。

# 只显示错误及以上级别
dmesg -l err,crit,alert,emerg

# 只显示警告和错误
dmesg -l warn,err

# 显示所有级别（默认）
dmesg -l emerg,alert,crit,err,warn,notice,info,debug

2.3.3 基于设施（Facility）过滤

内核日志按子系统分类，称为设施。文件系统相关的设施包括 kern（内核核心）、fs（文件系统）、block（块设备）等。

# 查看文件系统设施日志
dmesg -f fs

# 查看块设备设施日志
dmesg -f block

# 查看内核核心日志
dmesg -f kern
注意：设施过滤功能需要内核配置 CONFIG_DYNAMIC_DEBUG 支持。如果命令执行失败，请检查内核版本和配置。

2.3.4 格式化输出技巧

# 人类可读时间戳
dmesg -T

# 显示时间戳（秒级精度）
dmesg -t

# 显示日志级别编号
dmesg -r

# 不换行显示（适合管道处理）
dmesg -x

# 组合使用：带时间、级别、设施
dmesg -T -l err -f fs
dmesg 过滤与格式化流程 内核环形缓冲区 dmesg 命令 关键词过滤 级别过滤 设施过滤 时间戳格式化 精准定位的日志 最佳实践：先使用 dmesg -T -l err 查看错误级别日志，再通过 grep 过滤文件系统关键词，最后结合 -w 实时监控。 例如：dmesg -T -l err -w | grep -i "ext4\|xfs"

2.4 实战案例：文件系统挂载失败排查

假设服务器重启后，某个数据分区未能自动挂载。使用 dmesg 排查的典型步骤：

  1. 清空缓冲区：dmesg -c，确保后续日志不被旧消息干扰。
  2. 手动触发挂载：mount /dev/sdb1 /data，观察输出。
  3. 实时捕获日志：dmesg -T -w，等待新日志出现。
  4. 过滤关键信息：dmesg -T -l err | grep -i "sdb\|ext4\|mount"
典型输出示例： 
[Mon Mar 10 10:15:23 2025] EXT4-fs (sdb1): mounted filesystem with ordered data mode. Opts: (null)
[Mon Mar 10 10:15:23 2025] EXT4-fs (sdb1): recovery complete
[Mon Mar 10 10:15:23 2025] EXT4-fs (sdb1): mounted filesystem with ordered data mode. Opts: errors=remount-ro

如果看到 EXT4-fs error 或 I/O error，则说明文件系统或硬件层面存在问题。

2.5 常见问题与避坑指南

问题 原因 解决方案
dmesg 输出为空 环形缓冲区被清空或内核参数 printk.devkmsg 限制 检查 sysctl kernel.printk 设置；使用 journalctl -k 查看持久化日志
时间戳不准确 系统启动后修改了系统时间 使用 dmesg -T 转换为当前时区时间；或结合 uptime 推算
日志被快速覆盖 环形缓冲区太小或日志量太大 增大 log_buf_len；配置 rsyslog 将内核日志写入文件
grep 过滤不到内容 日志级别或设施过滤条件过严 先使用 dmesg -T | tail -50 查看最近日志，再调整过滤条件
进阶技巧：在排查文件系统故障时，建议同时开启 dmesg -w 和 journalctl -f -k，前者提供实时内核日志，后者提供持久化且带索引的日志，两者互补，确保不遗漏任何关键信息。
← 上一章 📖 返回目录 下一章 →