PCIe接口基础：NVMe与PCIe的关系、控制器寄存器空间（BAR）、MMIO与Doorbell机制
这一章咱们聊聊NVMe和PCIe的“底层关系”。说白了，NVMe就是个跑在PCIe上的原生协议，跟那些老古董ATA、SATA完全不同。我刚开始接触NVMe时，总觉得它就是个驱动加个队列，但真要调起性能来，才发现PCIe的各个环节才是瓶颈。
NVMe与PCIe的关系
NVMe从诞生那天起就是为PCIe量身定做的。它不再像AHCI那样必须通过寄存器模拟磁盘接口，而是直接利用PCIe的传输层发命令、传数据、收完成。你想想看，PCIe里有个叫Transaction Layer Packet（TLP）的东西——NVMe的命令队列、数据搬运、甚至Doorbell触发，全部是靠TLP在链路上跑来跑去的。
具体怎么个关系？我习惯用一张图来理解：
图中，NVMe Controller通过PCIe Switch接到CPU。系统里最关键的是：命令队列（SQ/CQ）和数据Buffer都放在系统内存里，控制器只负责通过DMA去读。Bar空间里映射的是Doorbell寄存器——你往那个地址写个值，就等于敲了一下门铃，告诉控制器“有新命令了”。
核心要点：
- NVMe不通过PCIe I/O空间，只通过Memory Mapped I/O（MMIO）访问控制寄存器。
- 每个NVMe Controller最多可以有6个BAR（BAR0~BAR5），实际常用BAR0和BAR1组合成64位地址空间。
- Doorbell寄存器位于BAR中，写Tail pointer就给控制器发Doorbell。
我曾在调一个NVMe SSD时，发现性能上不去。查了好久才发现是Doorbell写入的粒度不对——系统默认用1字节写，但PCIe TLP最小单位是4字节。硬生生把性能打了对折。嗯，这个细节后面会细说。
控制器寄存器空间（BAR）
BAR是PCIe设备暴露给系统的一小段物理地址。系统在枚举PCIe总线时，给每个设备分配一段不重叠的地址范围。NVMe Controller的BAR里主要就这几类寄存器：
| 偏移 | 寄存器 | 作用 |
|---|---|---|
| 0x00 | CAP (Capabilities) | 版本号、队列数量上限、Doorbell stride等 |
| 0x08 | VS (Version) | NVMe spec 版本 |
| 0x0C | INTMS / INTMC | 中断掩码控制 |
| 0x10 | CC (Configuration) | 启用、仲裁机制、MPS |
| 0x14 | CSTS (Status) | 就绪状态、故障信息 |
| 0x18 | NSSR (NVM Subsystem Reset) | 复位控制 |
| 0x1000 | Doorbell寄存器区域 | 每个SQ/CQ对应一个DB寄存器 |
注意，Doorbell寄存器区是从偏移0x1000开始的。每个SQ和CQ各占两个32位寄存器：SQyTDBL和CQyHDBL，分别记录SQ的Tail和CQ的Head。我记得第一次看spec时发现Offset 0x1000到0x13FF全是Doorbell——这段空间能用MMIO访问，但写入一定要4字节对齐。否则会触发PCIe Uncorrectable Error。
小技巧：很多新手会困惑“为什么读BAR的CAP寄存器显示最大队列数是64，但实际只能创建32个？” 实际上，CAP.MQES字段值就是最大队列数（1-based），你读到的值是0x3F表示队列数上限为64，但还要受MSI-X中断向量数和控制器内部资源的限制。别被数字骗了。
MMIO与Doorbell机制
MMIO（Memory Mapped I/O）就是把PCIe设备里的寄存器映射到系统的物理地址空间。CPU直接通过load/store指令读写这些地址，PCIe硬件自动把访问转换成TLP发去控制器。说白了，对CPU而言就像访问内存一样，但实际会跑到NVMe控制器芯片上。
Doorbell是MMIO里最特殊的一类寄存器。它的工作机制是这样的：
- 驱动在系统内存里准备好Submission Queue Entry（SQE）
- 更新SQ Tail指针（在内存里的一个变量里）
- 往BAR空间中对应SQ的Doorbell寄存器写入新的Tail值
- 控制器看到Doorbell变了，就知道有新命令，开始DMA读取SQE
这看起来多此一举？为什么不直接写SQE到控制器里？原因很简单——控制器里的内部SRAM太小，放不下几百个队列项。所以NVMe选择了“内存中放队列，Doorbell只传指针”的架构，性能高还省芯片面积。我在做软硬件协同验证时，就亲眼见过Doorbell写错地址导致控制器死锁，结果系统直接MCE。从那以后我写驱动都严格先写内存，再加wmb()屏障，最后写Doorbell。
避坑指南：我曾经遇到过一块PCIe Re-timer卡把Doorbell写入的TLP拆成了两个4字节写，结果控制器只收到了低4字节，Tail指针不全。NVMe控制器根本没反应。后来我们在驱动里强制使用一次64位写入（MOVDIR64B指令）才解决。如果你的CPU支持MOVDIR64B，尽量用它写Doorbell。
另外要注意：每个SQ/CQ有一对Doorbell寄存器，它们之间的偏移由CAP.DSTRD（Doorbell Stride）字段决定。通常Stride是1（即每个Doorbell占4字节），但有些控制器用2（8字节）。你用程序遍历所有队列的Doorbell时，记得乘上这个步长，否则会覆写错寄存器。
最后提一句MSI-X中断——控制器处理完命令后，会通过PCIe Capability结构里的MSI-X中断向量通知CPU。那又是另一套机制了，但它的使能寄存器也挂在BAR里。我自己的习惯是把BAR0整个dump下来，对照spec就什么都清楚了。
好，本章的重点就这些。PCIe和Doorbell这东西，说起来抽象，实际动手在FPGA上写个驱动跑起来就全通了。