📚 课程目录第2章多队列DMA简介

多队列DMA驱动设计从入门到精通 - 第2节

一、多队列DMA到底是什么？

先说说传统DMA。说白了，传统DMA就是个单车道。一次只能跑一辆车，所有数据都得排队等着过。我在项目中遇到过很多次，一个高速设备一旦占着DMA通道，其它外设就只能干瞪眼。CPU呢？也不得不时不时去管一下——唉，这就把CPU给拖累了。

多队列DMA就不同了。它把单车道变成了多车道。每个车道都能独立跑数据，互不干扰。你想想看，这对高性能系统有多重要！

我最早接触多队列DMA，是在一块企业级NVMe SSD上。那会儿我刚从单片机转过来做嵌入式Linux，看到DMA还有这种玩法，确实挺震撼的。后来自己写驱动，才发现它的设计哲学其实很简单：用硬件并行，去解软件锁的痛。

核心概念：什么是“队列”

这里的“队列”，不是软件里的环形缓冲，而是一个硬件级的传输通道。每个队列都有自己的一套寄存器——状态寄存器、描述符表基址寄存器、下一个描述符指针寄存器。这些都是独立的。

队列ID：每个队列一个唯一编号，驱动通过它来索引控制寄存器
描述符环：每个队列维护自己的描述符环，Producer和Consumer指针都是独立的
中断向量：每个队列可以绑定到不同的中断线，甚至不同的CPU核心
独立状态机：每个队列有自己的空闲、运行、完成、错误状态

关键认知：多队列不是把一个DMA复制成多份，而是让多个DMA引擎并行工作，共用同一个总线接口和内存控制器。

它跟传统DMA到底有什么区别？

我习惯用一张表来对比。你一看就明白了。

对比维度	传统DMA	多队列DMA
队列数量	1	2~1024（看硬件）
数据传输	串行，排队等	并行，多个队列同时跑
中断处理	所有完成事件一个中断	可以每个队列一个中断，甚至每个队列多个中断
CPU亲和性	没法做亲和性绑定	天然支持，队列可以绑定到指定CPU
带宽利用率	一般，队列空转时浪费	高，其他队列可以继续跑
驱动复杂度	低，一个状态机就够了	高，要管理多个状态机同步
典型场景	单片机、低速外设	NVMe SSD、高速网卡、GPU

嗯，这里要注意：并不是队列越多越好。队列太多，中断和缓存一致性会变成新瓶颈。我记得有次做FPGA上的多队列引擎，开了64个队列，结果中断风暴直接把CPU打趴了。后来我调整到16个队列，配合中断聚合，才稳定下来。

二、多队列是怎么工作的？

咱们来看看内部流程。简单说，就是“一次设置，多次运行”。

初始化阶段：驱动为每个队列申请描述符环、完成环和中断处理程序
提交阶段：驱动向某个队列的SOP（Start of Packet）寄存器写描述符，硬件自动开始搬运
完成阶段：数据搬完了，硬件更新完成环，触发中断（或写Doorbell），驱动去处理
循环：重复2和3，直到系统关闭或队列重置

举个例子：比如网卡收包，每个CPU核心绑定一个DMA队列。网卡根据接收到的包的五元组做哈希，决定该包进哪个队列。这样发包和收包都在同一个CPU上完成，缓存命中率自然就高了。

为什么会这样？说白了，就是数据和CPU不再吵架了。传统DMA把数据扔给CPU，CPU又得去查是谁的数据。多队列直接是“对号入座”，哪个CPU的活，数据就往哪个队列里塞。

个人习惯：我做多队列驱动时，会先在dts（设备树）里把每个队列的中断号和CPU亲和性写死。这样调试时能快速定位是哪个队列出了问题。

三、多队列的典型应用场景

不是所有设备都需要多队列。我个人判断标准只有一个：有没有多核争抢?

NVMe SSD：多个namespace同时读写，每个namespace一个队列，互不干扰
万兆/25G网卡：RSS（接收侧缩放）技术把不同流分配到不同队列，实现了线速收包
GPU/NPU：多个计算上下文各自有DMA队列，做异步数据搬移
虚拟化场景：每个虚拟机一个队列，硬件做隔离，安全性更高

我曾经踩过坑：在一个项目里，我觉得多队列好，就给一个低速SPI Flash也用上了。结果硬件不支持，驱动跑起来各种乱入。所以，先看数据手册！不是所有DMA控制器都支持多队列的。

四、多队列DMA的架构图

下面这张SVG图，画的就是一个典型的多队列DMA系统架构。你看完就能明白，数据到底是怎么在多个队列间流转的。

五、多队列带来的设计挑战

看着架构图确实很漂亮对吧？但真正写驱动的时候，你会发现事情没那么简单。

队列间的同步：多个队列可能共享同一个描述符内存区域，得用锁保护。我用的是每队列一把spinlock，避免全局锁竞争。
中断亲和性：如果中断绑错了CPU，性能会不升反降。我一般会在init里把队列i的中断绑定到CPU i。
描述符管理：每个队列都要管理自己的空闲链表和完成链表。内存碎片化一旦严重，DMA就可能stall。
调试难度：出了问题，你根本不知道是哪个队列的锅。我会在每个队列的寄存器里留个魔术字，匹配得上才认为队列是活的。

踩坑实录：有次队列4一直不产生中断，我查了三天。最后发现是硬件上的中断线布线有问题——信号从DMA控制器到GIC路由的时候，走线太长了。嗯，这种硬件问题真的让人想砸示波器。

六、一个简单的多队列初始化示例

看代码吧，我简化了一个队列控制器的初始化流程。这是典型的寄存器级操作。

/* 伪代码：多队列DMA控制器初始化 */
void mqdma_init(struct mqdma_device *dev, int nr_queues)
{
    int i;
    
    /* 1. 复位整个控制器 */
    writel(0x1, dev->base + MQDMA_GLOBAL_CTRL);
    udelay(10);
    writel(0x0, dev->base + MQDMA_GLOBAL_CTRL);
    
    /* 2. 初始化每个队列 */
    for (i = 0; i < nr_queues; i++) {
        /* 设置队列描述符环基址 */
        writel(lower_32_bits(dev->desc_rings[i].dma_addr),
               dev->base + MQDMA_Q_DESC_BASE_L(i));
        writel(upper_32_bits(dev->desc_rings[i].dma_addr),
               dev->base + MQDMA_Q_DESC_BASE_H(i));
        
        /* 设置队列完成环基址 */
        writel(lower_32_bits(dev->comp_rings[i].dma_addr),
               dev->base + MQDMA_Q_COMP_BASE_L(i));
        writel(upper_32_bits(dev->comp_rings[i].dma_addr),
               dev->base + MQDMA_Q_COMP_BASE_H(i));
        
        /* 设置队列深度（描述符数量） */
        writel(QUEUE_DEPTH, dev->base + MQDMA_Q_DEPTH(i));
        
        /* 使能队列 */
        writel(MQDMA_Q_CTRL_EN, dev->base + MQDMA_Q_CTRL(i));
    }
    
    /* 3. 注册中断，绑定CPU亲和性 */
    for (i = 0; i < nr_queues; i++) {
        int irq = platform_get_irq(dev->pdev, i);
        ret = request_irq(irq, mqdma_isr, 0, dev_name, &dev->queues[i]);
        /* 绑定到CPU i */
        irq_set_affinity_hint(irq, cpumask_of(i));
    }
}

这个例子只是冰山一角。真正的多队列驱动，还要处理描述符回收、超时重传、电源管理等。

好了，关于多队列DMA的基本概念，我们就讲到这儿。你记住三点：并行、独立、亲和性。后面章节我们会深入到每个队列的调度策略、中断处理优化和具体的驱动框架实现。