4. I/O队列创建与管理：Submission Queue与Completion Queue的实战

好，咱们今天聊点硬核的。I/O队列，说白了就是NVMe驱动的心脏。你驱动写得再花哨，队列搞不定，一切白搭。我个人习惯把队列创建看作「搭桥」——Submission Queue是送快递的车队，Completion Queue是签收单的柜台。两者配合不好，数据就堵在半路了。

4.1 队列创建的核心流程

先看一个典型的队列创建流程。嗯，这里要注意，NVMe协议规定，队列必须成对出现——一个SQ配一个CQ。我见过新手只创建SQ忘了CQ，结果IO提交后永远等不到完成通知。

// 队列创建的核心步骤
1. 分配CQ的内存（DMA一致性内存）
2. 发送Admin命令创建CQ（opcode 0x05）
3. 分配SQ的内存
4. 发送Admin命令创建SQ（opcode 0x01）
5. 设置中断向量（MSI-X）
6. 使能队列对

这里有个坑：创建顺序不能乱。必须先建CQ再建SQ，因为SQ创建时需要指定它要报告的CQ ID。我曾经在项目中调了一个下午的bug，最后发现是顺序写反了——SQ指向了一个还没创建的CQ，控制器直接返回了无效参数。

struct nvme_queue {
    struct nvme_dev *dev;       // 所属设备
    struct nvme_cq *cq;         // 关联的CQ
    struct nvme_sq *sq;         // 关联的SQ
    int cq_vector;              // 中断向量号
    u16 q_depth;                // 队列深度
    dma_addr_t sq_dma_addr;     // SQ的DMA地址
    dma_addr_t cq_dma_addr;     // CQ的DMA地址
};

4.2 队列深度配置的艺术

队列深度设多少合适？这个问题没有标准答案。我个人的经验是：不要盲目追求大深度。你想想看，队列深度设成4096，每个entry占64字节，光一个SQ就要256KB内存。如果系统有64个队列，光队列内存就吃掉16MB。这在嵌入式设备上是要命的。

实际项目中我一般这样配置：

注意，队列深度不是越大越好。我记得有一次给一个客户调优，他们把队列深度设到4096，结果IO延迟反而增加了。为什么？因为队列太深，控制器要维护的上下文太多，cache命中率下降，反而拖慢了速度。

4.3 中断绑定：让CPU干活更高效

中断绑定，说白了就是让哪个CPU核来处理这个队列的中断。NVMe支持MSI-X，每个队列可以绑定到不同的中断向量。我习惯的做法是：每个队列绑定一个独立的CPU核，这样不会出现多个队列抢同一个核的情况。

代码实现上，关键在设置中断亲和性：

// 设置中断亲和性
static int nvme_setup_irq_affinity(struct nvme_dev *dev)
{
    int cpu, i;
    struct irq_affinity affd = {
        .pre_vectors = 1,  // admin队列单独一个向量
        .post_vectors = dev->nr_io_queues,
    };
    
    // 让内核自动分配CPU亲和性
    dev->irq = pci_alloc_irq_vectors_affinity(
        dev->pdev, 1, dev->nr_io_queues + 1,
        PCI_IRQ_MSIX | PCI_IRQ_AFFINITY, &affd);
    
    // 手动绑定也可以
    for (i = 0; i < dev->nr_io_queues; i++) {
        cpu = i % num_online_cpus();
        irq_set_affinity_hint(
            pci_irq_vector(dev->pdev, i + 1),
            cpumask_of(cpu));
    }
}

这里有个细节：admin队列最好单独占一个中断向量。admin命令不频繁，但很重要（比如创建/删除队列、获取日志页），给它一个独立的中断，避免被IO队列的洪水冲垮。

4.4 队列分配失败处理

队列创建失败，这是每个NVMe驱动开发者都会遇到的噩梦。失败原因五花八门：内存不足、中断向量不够、控制器资源耗尽……

我总结了一套处理流程：

1. 检查返回值：Admin命令的完成状态字（Status Code）会告诉你具体原因。比如0x05表示「队列资源不足」。
2. 降级策略：如果创建64个队列失败，试试32个。如果32个还不行，降到16个。我见过最极端的情况，一个设备只支持2个IO队列，但驱动默认要创建8个，结果一直失败。
3. 内存回收：如果DMA内存分配失败，先释放已分配的资源，然后尝试用更小的队列深度重新分配。
4. 中断回退：如果MSI-X中断不够，可以回退到MSI甚至INTx。虽然性能差一些，但至少能工作。

看一个实际的降级代码：

static int nvme_create_io_queues(struct nvme_dev *dev)
{
    int nr_queues = dev->nr_io_queues;
    int ret;
    
    // 尝试创建队列，失败则降级
    while (nr_queues > 0) {
        ret = nvme_create_queue_pair(dev, nr_queues);
        if (ret == 0) {
            dev->nr_io_queues = nr_queues;
            return 0;
        }
        
        // 记录失败原因
        dev_warn(dev->dev, 
            "创建%d个队列失败，尝试%d个\n",
            nr_queues, nr_queues / 2);
        
        nr_queues /= 2;  // 队列数减半
    }
    
    return -ENOMEM;
}

4.5 知识体系总览

下面这张图，是我画的一个队列管理全景图。你可以看到从创建到销毁的完整生命周期：

嗯，这张图基本把队列管理的核心逻辑串起来了。从创建到配置，再到运行，每一步都可能出问题。但只要你掌握了降级策略和错误处理，大部分场景都能应付。