📚 课程目录第3章 PCIe设备枚举与资源分配

3. PCIe设备枚举与资源分配

PCIe总线采用树形拓扑，设备并非在系统启动时“自动出现”，而是由内核通过枚举过程逐级发现、配置并分配资源。枚举是PCIe子系统初始化的核心环节，它决定了设备能否被正确识别、BAR空间能否映射、驱动能否顺利绑定。理解枚举流程、配置空间访问机制、BAR地址分配策略以及内核PCI子系统的初始化顺序，是排查“设备不识别”“BAR映射失败”“资源冲突”等问题的关键基础。

一、枚举流程：从根桥到叶子设备

PCIe枚举由内核PCI子系统在启动阶段发起，通常从Host Bridge（根复合体）开始，采用深度优先或广度优先方式遍历总线号、设备号、功能号。每个PCIe设备在配置空间中都有Vendor ID、Device ID、Class Code等标识，内核通过读取这些字段判断设备类型，并为桥设备分配下游总线号范围。

枚举的核心步骤可概括为：

从总线0、设备0、功能0开始扫描，读取配置空间头。
若发现PCI-to-PCI桥或PCIe Root Port，读取其总线号寄存器，分配新的下游总线号。
递归扫描下游总线，直到所有设备被遍历。
为每个设备读取BAR寄存器，确定所需地址空间大小和类型。
将设备信息注册到内核PCI设备链表，等待驱动匹配。

枚举过程中，内核会为每个设备分配一个唯一的struct pci_dev对象，并记录其总线号、设备号、功能号、BAR资源、中断线等信息。对于PCIe设备，还会读取扩展配置空间中的Capability结构，识别PCIe Capability、MSI/MSI-X Capability等。

二、配置空间访问：ECAM与CF8/CFC

PCIe配置空间是枚举的基础。每个PCIe功能拥有4KB配置空间，前256字节与PCI兼容，后384字节为PCIe扩展配置空间。访问方式主要有两种：

传统I/O端口方式（CF8/CFC）：通过0xCF8写入地址，0xCFC读写数据，仅能访问前256字节，且需要总线号、设备号、功能号、寄存器偏移组合。
ECAM（Enhanced Configuration Access Mechanism）：通过ACPI MCFG表描述的内存映射区域访问，支持4KB完整配置空间，访问更高效，是现代PCIe系统的首选方式。

在Linux内核中，配置空间访问由pci_read_config_byte/word/dword和pci_write_config_*系列函数封装。底层根据平台选择pci_conf1或pci_mmcfg实现。调试时可通过lspci -xxx查看配置空间原始数据，或通过setpci直接读写寄存器。

# 查看设备配置空间前256字节
lspci -s 01:00.0 -xxx

# 读取BAR0寄存器值
setpci -s 01:00.0 0x10.l

# 查看内核枚举日志
dmesg | grep -i "pci bus"

三、BAR地址分配：设备内存映射的关键

BAR（Base Address Register）是PCIe设备向系统申请地址空间的窗口。设备通过BAR声明自己需要的内存或I/O空间大小，内核枚举时读取BAR，写入全1后回读，根据可读写位判断空间大小和对齐要求，然后从系统资源池中分配一段物理地址，写回BAR寄存器。

BAR分配需注意以下要点：

空间类型：BAR最低位为0表示Memory BAR，为1表示I/O BAR。PCIe设备通常只使用Memory BAR。
64位BAR：BAR类型字段为0b10时表示64位地址，需占用两个连续BAR寄存器。
Prefetchable：表示该区域可预取，通常用于显存等大块连续内存。
资源冲突：若系统资源池不足，BAR分配失败，设备无法启用，驱动probe会返回-ENODEV或-EIO。

BAR类型	最低位	地址宽度	典型用途	内核分配函数
Memory BAR	0	32位或64位	寄存器、SRAM、DMA描述符	`pci_assign_resource()`
I/O BAR	1	32位	传统I/O端口映射	`pci_assign_resource()`
64位 Memory BAR	0（类型0b10）	64位	大容量显存、高速缓冲	`pci_assign_resource()`
Prefetchable BAR	0（bit3=1）	32/64位	可预取内存区域	`pci_assign_resource()`

四、内核PCI子系统初始化与驱动绑定

Linux内核PCI子系统初始化分为几个阶段：早期架构相关初始化、ACPI枚举、PCI设备扫描、资源分配、驱动注册与匹配。核心数据结构包括pci_bus、pci_dev、pci_driver。设备与驱动通过id_table中的Vendor ID、Device ID、Class Code进行匹配，匹配成功后调用驱动的probe()函数。

典型驱动注册流程如下：

static struct pci_driver my_pci_driver = {
    .name = "my_pcie_drv",
    .id_table = my_pci_ids,
    .probe = my_probe,
    .remove = my_remove,
};

static int __init my_init(void)
{
    return pci_register_driver(&my_pci_driver);
}
module_init(my_init);

调试提示：若设备未被识别，优先检查lspci是否列出设备。若列出但驱动未绑定，检查/sys/bus/pci/devices/下对应设备的driver符号链接，并用dmesg查看probe失败原因。BAR分配失败通常伴随“can't assign resource”或“BAR 0: no space”日志。

常见误区：枚举顺序并不等于驱动加载顺序。枚举在内核启动早期完成，而驱动可能在根文件系统挂载后才加载。若驱动模块加载时设备已被枚举，pci_register_driver会立即触发匹配；若设备尚未出现，则需依赖热插拔或手动rescan。此外，BAR地址是物理地址，驱动中必须使用pci_iomap()或ioremap()转换为虚拟地址后才能访问。

五、复盘：枚举与资源分配的关键检查点

在实际项目中，PCIe设备枚举失败或资源分配异常往往由以下原因导致：

ACPI MCFG表缺失或错误，导致ECAM无法使用，只能回退到CF8/CFC，扩展配置空间不可访问。
BIOS未正确分配总线号，下游桥的总线号范围重叠，导致设备无法被扫描到。
BAR空间请求过大，系统资源池不足，内核无法分配，设备被标记为disabled。
驱动id_table未覆盖设备ID，或Class Code匹配错误，导致probe不触发。
设备未正确上电或链路训练失败，配置空间读取返回0xFFFFFFFF。

掌握枚举流程、配置空间访问方式、BAR分配规则以及内核PCI子系统初始化顺序，能够帮助开发者在设备不识别、资源冲突、驱动绑定失败等场景中快速定位问题层次，从而有针对性地修复硬件配置、BIOS设置或驱动代码。