2. I/O请求生命周期

理解一个I/O请求从用户态发起，到最终由块设备驱动完成数据传输的完整生命周期，是进行块设备驱动性能调优的基础。本章将沿着内核I/O栈的垂直路径，逐层剖析关键数据结构、函数调用链以及性能开销点。

2.1 整体I/O路径分层架构

Linux内核I/O栈从上到下依次为：虚拟文件系统层（VFS）、映射层（Mapping Layer / Page Cache）、通用块层（Generic Block Layer）、I/O调度层（I/O Scheduler）、块设备驱动层（Block Device Driver）。下图展示了这一完整路径及核心数据结构流转：

2.2 关键数据结构流转

I/O请求在路径中会经历多次数据结构转换。理解这些结构的生命周期和转换关系，是进行驱动层优化的前提。

2.3 关键函数调用链详解

以下是一个典型的同步读I/O（4KB，Page Cache未命中）在内核中的完整函数调用链。每个步骤都标注了其所在的层次和典型性能开销。

// 用户态调用
read(fd, buf, 4096);

// 1. VFS层入口
→ sys_read()                          // 系统调用入口，上下文切换
  → ksys_read()                       // 权限检查，fd查找
    → vfs_read()                      // 文件操作分发
      → __vfs_read()                  // 调用具体文件系统的read操作
        → ext4_file_read_iter()       // ext4文件系统实现
          → generic_file_read_iter()  // 通用文件读取逻辑

// 2. Page Cache层
          → do_generic_file_read()    // 逐页读取循环
            → filemap_read()          // 查找/创建page cache
              → find_get_page()       // 在radix tree中查找缓存页
              → page_cache_sync_readahead() // 预读逻辑（如果未命中）
              → mapping->a_ops->readpage()  // 调用地址空间操作
                → ext4_readpage()     // ext4的读页实现
                  → mpage_readpage()  // 多页读取助手
                    → submit_bio()    // 提交底层I/O请求

// 3. 通用块层
                    → submit_bio_noacct() // 权限检查，分区处理
                      → __submit_bio()    // 多队列路径分发
                        → blk_mq_submit_bio() // 多队列提交入口
                          → blk_mq_get_request() // 从缓存池获取request
                          → blk_mq_bio_to_request() // 将bio数据填入request
                          → blk_mq_sched_insert_request() // 插入调度队列

// 4. I/O调度层
                          → blk_mq_sched_dispatch_requests() // 调度分发
                            → __blk_mq_sched_dispatch_requests()
                              → blk_mq_dispatch_rq_list() // 下发请求列表
                                → queue_rq() // 调用驱动层的queue_rq回调

// 5. 块设备驱动层
                                → nvme_queue_rq() // NVMe驱动示例
                                  → nvme_setup_cmd() // 构造NVMe命令
                                  → dma_map_sg() // DMA映射数据缓冲区
                                  → nvme_submit_cmd() // 写入SQ（Submission Queue）
                                  → nvme_irq() // 中断处理（异步完成）
                                    → nvme_process_cq() // 处理CQ（Completion Queue）
                                    → dma_unmap_sg() // DMA解映射
                                    → blk_mq_complete_request() // 通知块层完成
                                      → bio_endio() // 通知上层bio完成
                                        → page_cache_async_readahead() // 触发异步预读
                                        → unlock_page() // 解锁页面，唤醒等待进程

2.4 多队列块层（blk-mq）路径优化点

现代块设备驱动（NVMe、virtio-blk）均采用blk-mq框架。与传统单队列相比，blk-mq在路径上做了以下关键优化：

2.5 I/O路径延迟分布模型

以下SVG图展示了一个典型NVMe SSD随机读I/O（4KB，QD=1）的延迟分布，帮助理解各层贡献：

2.6 路径中的关键性能指标

在分析I/O路径时，以下指标是驱动开发者必须关注的：

• 上下文切换次数：每次系统调用约2次切换，异步I/O（io_uring）可减少到0次
• bio合并率：通用块层将相邻bio合并为更大request，合并率直接影响硬件效率
• DMA映射/解映射次数：每次I/O至少一次映射，IOMMU场景下开销显著
• 中断合并率：驱动层中断合并策略影响延迟与吞吐量的平衡
• per-CPU缓存命中率：blk-mq的request缓存、slab分配器缓存命中率

2.7 路径可视化：完整数据流

以下SVG图展示了I/O请求从用户态缓冲区到设备DMA传输的完整数据流，突出关键数据结构转换点：

2.8 路径分析工具与实战方法

在实际调优中，可以使用以下工具和方法来追踪I/O路径：

• ftrace / trace-cmd：追踪关键函数调用链，如 submit_bio、blk_mq_submit_bio、queue_rq
• blktrace / blkparse：块层I/O事件追踪，分析队列深度、合并、延迟分布
• perf probe：动态插桩，测量特定函数的执行时间和调用次数
• bpftrace：基于eBPF的实时追踪，可编写自定义脚本分析路径热点