3. Linux IO栈概述

在深入调优IO调度器参数之前，必须理解Linux IO栈的完整路径。一个IO请求从用户态应用程序发起，到最终写入NVMe SSD的物理介质，需要穿越多个内核子系统。每一层都承担特定的职责，同时也可能成为性能瓶颈。本章将自上而下拆解VFS、块层、IO调度器与NVMe驱动的层级关系，并揭示各层在NVMe场景下的关键交互点。

3.1 四层架构总览

Linux IO栈可抽象为四个核心层级，每一层对上层提供抽象接口，对下层屏蔽实现细节。在NVMe SSD场景下，传统机械硬盘时代的某些层级（如IO调度器）的作用发生了显著变化。

3.2 VFS（虚拟文件系统）层

VFS是Linux IO栈的最上层，为应用程序提供统一的文件操作接口。它隐藏了底层不同文件系统（ext4、XFS、Btrfs等）和不同存储设备的差异。

3.2.1 VFS核心职责

• 系统调用分发： 处理 read()、write()、open()、fsync() 等POSIX接口。
• 路径查找与权限检查： 解析文件路径，遍历dentry缓存，验证访问权限。
• 页缓存管理： 通过Page Cache缓存文件数据，减少对底层块设备的直接访问。
• 文件系统抽象： 通过超级块(super_block)、inode、dentry等通用结构，调用具体文件系统的实现。

3.3 块层（Block Layer）

块层是VFS与具体块设备驱动之间的中间层。它负责将文件系统的逻辑IO请求转换为块设备的物理IO请求，并管理请求的生命周期。

3.3.1 块层关键组件

3.3.2 请求合并与拆分

块层的一个重要优化是请求合并（merging）。当多个相邻扇区的IO请求在时间上接近时，块层会将它们合并为一个更大的请求，减少NVMe驱动的命令提交次数。

// 块层请求合并示例（伪代码）
// 原始两个4KB请求：
//   bio1: 扇区 1000-1007
//   bio2: 扇区 1008-1015
// 合并后：
//   merged_bio: 扇区 1000-1015 (8KB连续请求)

3.4 IO调度器层

IO调度器位于块层之下，NVMe驱动之上，负责决定请求队列中IO请求的处理顺序。传统上，IO调度器旨在优化机械硬盘的寻道时间，但在NVMe SSD场景下，其角色发生了根本性转变。

3.4.1 主流IO调度器对比

3.4.2 NVMe场景下的调度器选择

NVMe SSD内部已经实现了高效的并行请求调度（多队列、多通道），操作系统层的调度器如果过于复杂，反而会引入不必要的CPU开销和延迟抖动。因此，none 调度器（即直通模式）在大多数NVMe场景下表现最佳。

3.5 NVMe驱动层

NVMe驱动是Linux IO栈的最底层，直接与NVMe SSD硬件交互。它通过PCIe接口与设备通信，利用多队列机制实现高并发IO处理。

3.5.1 NVMe驱动的核心机制

• 提交队列（Submission Queue, SQ）与完成队列（Completion Queue, CQ）： 主机与设备之间通过成对的环形队列交换命令和完成状态。每个队列对独立工作，支持多核并行。
• 中断处理： 设备完成命令后，通过MSI-X中断通知主机。现代驱动支持中断合并（interrupt coalescing）以减少中断频率。
• DMA传输： 数据直接在主机内存与SSD闪存之间通过DMA传输，无需CPU介入数据拷贝。
• 命令集： 支持读写、flush、discard等标准命令，以及vendor-specific命令。

3.5.2 多队列映射关系

NVMe驱动与块层之间的队列映射是性能关键。每个NVMe队列对可以绑定到特定的CPU核心，实现无锁IO提交。

# 查看NVMe设备队列信息
$ cat /sys/class/nvme/nvme0/queue_count
128

# 查看每个队列绑定的CPU
$ cat /sys/class/nvme/nvme0/queues/nvme0q0/cpu_list
0-3

# 查看当前使用的IO调度器
$ cat /sys/block/nvme0n1/queue/scheduler
[mq-deadline] none kyber

3.6 层级关系总结与性能影响

下表总结了各层级在NVMe场景下的关键性能影响因素：