NVMe设备识别与初始化：PCIe枚举、控制器寄存器、命名空间管理
NVMe设备的识别和初始化，其实是整个故障排查里最容易出岔子的第一步。我见过不少线上事故，到头来发现根因就是初始化阶段某个寄存器没等就绪，或者命名空间ID列表读错了。走一遍完整流程，心里才有底。
1. PCIe枚举：让NVMe设备“现身”
先看PCIe枚举。操作系统在启动时会给每个PCIe设备分配总线号、设备号和功能号（BDF），NVMe设备通常以mass storage controller类出现，Class Code是01 08 02（NVM Express）。
我个人习惯在目标机上先用lspci -nn | grep Non-Volatile看一眼：
# lspci -nn | grep Non-Volatile
04:00.0 Non-Volatile memory controller [0108]: Intel Corporation NVMe SSD [8086:f1a6] (rev 03)如果这里什么都没出，那大概率是PCIe链路本身的问题——我曾经碰到过一块盘的PCIe link training卡在Gen1x1，枚举根本发现不了。你能看到BDF，后续的MMIO映射才有意义。
枚举结束后，内核会为每个NVMe设备创建PCIe设备对象，并读取其BAR（Base Address Register）。NVMe控制器一般使用BAR0或BAR1（64位MMIO空间）。
2. 控制器寄存器：读取的每个字段都有故事
MMIO映射完成后，你得到一块连续的物理地址空间，里面就是NVMe控制器的寄存器组。说白了，所有命令提交和状态查询最终都会落到这组寄存器上。核心的有：
| 寄存器 | 偏移 | 作用 |
|---|---|---|
| CAP | 0x00 | 控制器能力——指示队列深度（MQES）、DSTRD、CSS等。初始化时必读。 |
| VS | 0x08 | 版本号。比如1.4.0的值是0x00010400。注意主机端版本兼容性。 |
| CC | 0x14 | 控制器配置。写IOSQES/IOCQES、使能位（EN）等，开启控制器。 |
| CSTS | 0x1C | 控制器状态。RDY位为1表示控制器就绪，还包含故障状态（CFS）。 |
| AQAC/AQAS | 0x24/0x28 | Admin提交/完成队列基地址与属性。 |
我建议你初始化时先读CAP，拿到MQES（最大队列条目数减1），然后设置Admin队列大小必须 ≤ MQES+1。之前有同事直接把队列深度设成4096，结果控制器根本不认——CAP明确说最大只支持128，那代码就跑飞了。
寄存器访问顺序有讲究。先写CC.EN=0复位，然后配置Admin队列寄存器，再写CC.EN=1，最后轮询CSTS.RDY直到=1。这是标准的“复位–配置–使能–等待就绪”流程。我曾经踩过坑：写完CC.EN=1之后忘了等RDY位，直接发Identify命令，结果超时。
3. 命名空间管理：盘里到底有几个“分区”
控制器就绪后，第一件事就是发Admin命令 Identify，获取命名空间参数。有点类似机械盘的“读分区表”，但NVMe的命名空间更灵活——一个盘可以有多个命名空间，每个有独立的LBA格式、大小和保护信息。
具体步骤：
- 构建Identify命令Submission Entry，opcode设0x06，CNS（Controller or Namespace Structure）填0x00（Identify Namespace，且NSID指定一个具体空间）或0x02（Active Namespace ID List）。
- 把命令提交到Admin Submission Queue（通过寄存器写Doorbell触发）。
- 轮询Admin Completion Queue，取回完成状态。
下面给一个简单示意——忽略了错误处理，但路径清晰：
// 假设 Admin Queue 已准备好
struct nvme_submission_entry cmd = {0};
cmd.opcode = 0x06; // Identify
cmd.nsid = 1; // 查 Namespace 1
cmd.cdw10 = 0; // CNS: 0x0 – Identify Namespace
// 设置 PRP 指向内存缓冲区 ...
// 写 Doorbell 触发
writeq(AQ_DOORBELL, 1);
// 轮询 CQ 完成
while (!(CQ_PHASE & readq(CQ_DOORBELL))) ;
// 检查 Status 字段
返回的256字节数据结构里，关键字段：
- NSZE（Namespace Size）：最大可用LBA数量。
- NCAP（Namespace Capacity）：实际分配给该命名空间的LBA数量。
- FLBAS（Formatted LBA Size）：当前使用的LBA格式索引。
- DPI（End-to-End Data Protection Information）类型。
如果NSID=1返回的数据全是0，那可能是命名空间没激活。这时候需要用CNS=0x02（Active Namespace ID List）拿到所有活跃的NSID列表，再一个个查。我遇到过一块企业级盘有4个命名空间，但控制器初始化后只默认激活了NSID=1，剩下3个得额外处理。
4. 初始化流程图：从PCIe到命名空间就绪
下面这张图把本章的脉络画出来了，方便调试时对照：
5. 一些实战小经验
- 寄存器访问一定要确保对齐：NVMe寄存器组按4字节对齐，用memcpy或直接指针读取时注意CPU缓存一致性。我习惯在MMIO区域上做mmio_read32()封装，避免编译器优化。
- 大小端问题：NVMe协议是小端，但有些ARM SOC的平台默认大端。我曾在ARMv8上抓了半小时才反应过来——数据全反了。
- 热插拔下枚举重做：PCIe Hotplug重新触发枚举后，NVMe设备对象会重置，之前缓存的寄存器指针全失效。一定要注册PCIe hotplug通知链，重新走初始化流程。
- 命名空间个数不等于盘的分区数：一个命名空间可以映射成整个设备，也可以切成多个。识别时拿Active Namespace ID List最稳妥，别因为NSID=1有数据就以为只有1个。