NVMe 设备初始化流程：从 PCIe 枚举到 Admin Queue 就绪
好，今天我们聊聊 NVMe 设备是怎么“活”起来的。
说实话，很多做上层应用的同事，对 NVMe 初始化的理解就停在“装驱动”上。但你知道 SSD 从插入 PCIe 槽到真正能发 I/O，中间要过多少道关吗？我参与过一个项目，设备死活枚举不上，最后发现是 PCIe 链路协商时降速了——这就是初始化没走稳。
这一章，我们就走一遍 NVMe 设备初始化的完整流程。说白了就是三步：PCIe 枚举 -> NVMe 控制器寄存器 -> Admin Queue 创建。
第一步：PCIe 枚举与链路协商
NVMe 设备本质上是 PCIe 功能设备。所以第一个环节，是让系统的 PCIe 枚举逻辑找到它。
BIOS 或者 UEFI 会在系统启动时扫描 PCIe 总线。每次扫描，会给每个设备分配 BDF（Bus/Device/Function）编号。这个编号就是你访问设备的钥匙。NVMe 设备通常是一个多功能设备，Function 0 就是 NVMe 控制器。
lspci -v -d ::0108 直接过滤出 NVMe 设备。我习惯在项目调试时先用这个命令确认设备是否被正确枚举。如果 lspci 看不到，那基本可以断定是 PCIe 链路层的问题，不用费时间往上查驱动了。
第二步：BAR 空间映射与寄存器基址
枚举完成后，系统会读取设备的 PCIe 配置空间里的 BAR 寄存器。NVMe 设备至少需要实现 1 个 BAR（通常是 BAR0），用来映射控制器的 MMIO 寄存器空间。
我遇到过一种情况：BAR0 的大小被固件配置对了，但系统的 IOMMU 把映射挡掉了。结果驱动去读寄存器，读回来的全是 0xFF。这算是一个典型的“隐形坑”——lspci 能看到设备，但无法操作。
第三步：读取并解析控制器寄存器
有了 MMIO 基址，你就可以开始读取控制器的寄存器了。这里有几个关键寄存器，就像是设备的“身份证”：
| 寄存器 | 偏移 | 作用 |
|---|---|---|
| CAP | 0x00 | 控制器能力。包含支持的队列深度、Doorbell 步长、时间戳等。 |
| VS | 0x08 | 版本号。主版本 + 次版本，决定 NVMe 协议兼容性。 |
| CC | 0x14 | 控制器配置。I/O 队列的 SQ 与 CQ 元素大小、仲裁机制、使能位等。 |
| CSTS | 0x1C | 控制器状态。RDY 位表示设备是否准备好接收 Admin 命令。 |
我个人习惯是在读到 CAP 寄存器的值之后，先看一眼 MPSMIN 字段。它决定了设备支持的最小内存页大小。如果驱动层和设备的 MPSMIN 对不上，Admin Queue 的配置会失败。
第四步：创建 Admin Submission Queue 与 Admin Completion Queue
这是初始化中最核心的一步。NVMe 协议通过一对队列（SQ 和 CQ）来交互命令。Admin Queue 是设备启动后的第一对队列，专门用来执行管理员命令，比如创建 I/O 队列、查询日志、设置特征等。
创建过程分两步：
- 在主机内存中分配一块物理连续的内存区域。SQ 存命令，CQ 存完成结果。
- 将 SQ 和 CQ 的物理基址、队列大小、中断向量等信息，通过 ASQ 和 ACQ 寄存器写入控制器。
为什么要求物理连续？因为 NVMe 控制器通过 DMA 直接访问这块内存，不支持 IOMMU 的分散-收集。我在做嵌入式移植时吃过这个亏，分配的缓冲区跨了 4K 页边界，DMA 直接写飞了。
- 队列大小必须 >= 2，且不超过 CAP.MQES 字段的值。
- SQ 和 CQ 的大小可以不同，但必须遵循 2 的幂次方。
- CQ 必须映射到一个 MSI/MSI-X 中断向量，否则驱动无法感知命令完成。
第五步：使能控制器（CC.EN = 1）
队列配置好之后，你需要把 CC 寄存器的 EN 位置 1。这相当于按下设备的“启动”开关。设备收到后，会内部初始化状态机，然后开始从 Admin SQ 中取出命令执行。
有一个细节：CC.EN 置位后，不能立即发命令。你必须在程序里轮询 CSTS.RDY 位，直到它变成 1。这代表设备已经就绪。RDY 位的超时时间由 CAP.TO 字段给出，通常以 500ms 为单位。
我记得有个项目，就因为 RDY 轮询超时时间写得太短，导致设备在高负载下启动失败。后来把超时改成 CAP.TO * 2，问题就解决了。说白了，硬件启动也有脾气，你得给它足够的时间。
初始化完成后的检查清单
当 CSTS.RDY = 1 时，Admin Queue 就可以正式开始工作了。你应该发送一条 Identify 命令来验证完整性。Identify 命令返回控制器数据结构，里面包含了命名空间数量、支持的指令集、电源状态等关键信息。
到这步，NVMe 设备才算真正初始化完成。后续要创建 I/O 队列，也是通过 Admin Queue 发送 Create I/O Submission Queue 和 Create I/O Completion Queue 命令来实现的。
避坑指南：我曾经在一个国产平台调试 NVMe 驱动，设备能识别，但一发 Identify 命令就超时。查了两天，最后发现是 ACQ 的物理地址写错了——把 DMA 地址写成了虚拟地址。嗯，从那以后我每次写完物理地址，都会用调试器读回来再确认一遍。
初始化之所以重要，是因为它是所有后续操作的基础。队列的配置错误、寄存器写入顺序不对、物理地址不连续，都会导致设备不可用。而且问题往往藏得很深，日志不会直接告诉你“队列物理地址不连续”，你看到的可能只是“命令超时”或“状态错误”。
所以，每次做 NVMe 初始化，我都是拿着 Datasheet 一步一步对。别嫌麻烦，这步走稳了，后面的路就好走了。