3. Linux PCIe子系统

在Linux中，PCIe设备并不是“插上就能用”的黑盒。内核必须先完成枚举，建立总线号、设备号、功能号组成的拓扑视图，再为设备分配BAR资源，最后通过pci_driver把厂商/设备ID与具体驱动匹配起来。理解这条链路，是后续做DMA传输优化的前提：只有知道设备在哪个域、哪个总线、哪个功能，以及它的BAR和中断资源如何映射，才能正确配置DMA引擎、定位性能瓶颈。

一、核心原理：从枚举到驱动绑定

PCIe枚举由内核PCI子系统在启动时完成。它从根桥（Root Complex）开始，递归扫描每个总线上的设备，读取配置空间中的Vendor ID、Device ID、Class Code、Header Type等字段，确定设备类型和功能数量。对于多功能设备，每个功能都有独立的配置空间和BAR，因此一个物理插槽可能对应多个PCI设备（如网卡的多端口、NVMe的多队列控制器）。

枚举完成后，内核会为每个设备分配资源：BAR（Base Address Register）用于映射MMIO空间，中断线或MSI/MSI-X用于通知，总线号用于寻址。资源分配必须满足设备的对齐和大小要求，否则驱动probe会失败。随后，PCI核心层将设备与已注册的pci_driver进行匹配，匹配依据是id_table中的Vendor/Device/Class等字段。匹配成功后调用驱动的probe函数，驱动在此完成BAR映射、DMA掩码设置、中断注册和DMA引擎初始化。

二、方法流程：枚举、资源分配与绑定

内核启动时，PCI子系统按以下顺序推进：

1. 扫描拓扑：从根桥开始，读取每个总线上的设备配置空间，识别桥设备和端点设备，递归向下扫描，形成完整的PCI树。
2. 分配总线号：为每个桥的下游总线分配唯一总线号，确保配置空间访问时能正确寻址。
3. 分配BAR资源：根据设备请求的MMIO/I/O空间大小和对齐要求，在系统资源窗口中分配地址，写入BAR寄存器。
4. 注册设备：将设备加入PCI设备链表，并在sysfs中创建对应目录和属性文件。
5. 驱动匹配：遍历已注册的pci_driver，用id_table与设备ID比对，匹配成功后调用probe。
6. probe初始化：驱动使能设备、申请BAR区域、设置DMA掩码、注册中断、初始化DMA引擎。

对于DMA优化而言，probe阶段最关键的是dma_set_mask_and_coherent()和pci_request_regions()。前者决定设备能访问的DMA地址宽度，后者确保BAR区域不被其他驱动抢占。如果BAR申请失败，通常意味着资源冲突或设备未正确枚举。

三、pci_driver与资源分配的关键接口

一个典型的pci_driver结构如下：

static struct pci_driver my_pcie_driver = {
    .name       = "my_pcie",
    .id_table   = my_pci_ids,
    .probe      = my_probe,
    .remove     = my_remove,
    .suspend    = my_suspend,
    .resume     = my_resume,
};

static const struct pci_device_id my_pci_ids[] = {
    { PCI_DEVICE(0x1234, 0x5678) },
    { PCI_DEVICE_CLASS(0x020000) },
    { 0, }
};
MODULE_DEVICE_TABLE(pci, my_pci_ids);

在probe中，常用接口包括：

• pci_enable_device()：使能设备，唤醒设备并分配中断线。
• pci_request_regions()：申请BAR区域，防止资源冲突。
• pci_iomap()：将BAR映射到内核虚拟地址，供MMIO访问。
• dma_set_mask_and_coherent()：设置DMA地址掩码，影响DMA描述符地址宽度。
• pci_alloc_irq_vectors()：分配MSI/MSI-X中断向量，为多队列DMA做准备。

四、sysfs与lspci工具链：可观测性与排障

sysfs是内核PCI子系统的“窗口”。每个PCI设备在/sys/bus/pci/devices/下有一个以域:总线:设备.功能命名的目录，例如0000:01:00.0。目录中常见文件包括：

lspci工具链提供更直观的视图：

# 查看PCI拓扑树
lspci -tv

# 查看设备详细配置空间
lspci -vv -s 01:00.0

# 查看BAR和中断信息
lspci -vv -s 01:00.0 | grep -E "Region|Interrupt|MSI"

# 直接读取配置空间原始数据
lspci -xxx -s 01:00.0

# 查看内核PCI枚举日志
dmesg | grep -i "pci"

五、案例复盘：枚举失败与驱动绑定异常

某NVMe设备在启动后无法识别，lspci能看到设备但nvme驱动未绑定。排查步骤：

1. lspci -vv -s 01:00.0确认Vendor/Device ID与驱动id_table一致。
2. 检查/sys/bus/pci/devices/0000:01:00.0/driver是否存在，若不存在说明未绑定。
3. dmesg | grep -i "01:00.0"查看probe失败原因，常见为BAR资源冲突或MSI-X分配失败。
4. 若BAR冲突，检查/proc/iomem中该地址范围是否被其他设备占用。
5. 若MSI-X失败，尝试pci=nomsi或调整BIOS中PCIe ASPM设置。

在DMA优化中，枚举和绑定是“地基”。只有确保设备正确枚举、BAR正确映射、DMA掩码足够大、MSI-X向量充足，后续的DMA描述符环、零拷贝、多队列并行才有意义。否则，任何优化都可能被底层资源问题抵消。